The Impact of the “Cartão Família Carioca” on student achievement: a difference-in-differences approach

Abstract

Esta dissertação de mestrado busca avaliar o impacto do Cartão Família Carioca (CFC) - um programa de transferência condicionada de renda implementado no município do Rio de Janeiro que complementa os benefícios oferecidos pelo Bolsa Família em troca de condicionalidades mais rigorosas – em indicadores educacionais usando uma Regressão com Descontinuidade e uma metodologia de Diferenças-em-Diferenças. Argumentamos que a Regressão com Descontinuidade nos permite explorar características exógenas da intervenção - neste caso, o fato de que apenas os beneficiários do Bolsa Família com renda de até R$ 108,00 per capita são elegíveis ao programa - para tentar inferir causalidade em relação aos seus efeitos. A abordagem de Diferença-em-Diferenças, por outro lado, compara a mudança média na variável de resultado do grupo de tratamento ao longo do tempo com a mudança média ao longo do tempo para um grupo de controle similar. Contrariando nossa hipótese de que o CFC tem um impacto positivo na aprendizagem dos alunos, ambos os nossos modelos indicam que, de modo geral, ser beneficiário do CFC não afeta altera significativamente seu desempenho (conforme medido pelas notas de proficiência da Prova Rio). Os coeficientes foram, de fato, negativos, indicando que o programa teria reduzido o desempenho dos alunos, embora este efeito não tenha sido estatísticamente significativo. Embora os resultados apontados pelo método da Regressão com Descontinuidade devam ser interpretados com cautela devido à falta de uma descontinuidade suficientemente grande perto do ponto de corte, isso é corroborado por muitos dos resultados da análise de Diferenças-em-Diferenças. Isso é, no entanto, coerente com algumas das publicações internacionais sobre os impactos das TCRs nos resultados “finais” da educação. Ao avaliar os impactos do Cartão Família Carioca, este estudo aborda se a suplementação de uma transferência de renda básica por um valor adicional em troca de condicionalidades mais rigorosas melhora os resultados educacionais dos beneficiários, além de aprofundar a discussão sobre o quanto as notas na escola refletem de fato o aprendizado dos alunos.

This MSc thesis seeks to evaluate the impact of the Cartão Família Carioca(CFC) – a conditional cash transfer program implemented in Rio de Janeiro that complements the benefits offered by Brazil’s nationwide Bolsa Família in return for stricter condicionalities in education - on educational achievement indicators by using both a Regression Discontinuity and a Difference-in-Differences Design. We contend that the Regression Discontinuity Design allows us to exploit exogenous characteristics of the intervention - in this case, the fact that only those beneficiaries of the Bolsa Família with incomes of up to R$108.00 per capita were eligible for the program - to try and infer causality regarding its effects. The Difference-in-Differences approach, on the other hand, compares the average change over time in the outcome variable for the treatment group to the average change over time for a similar control group. Contrary to our hypothesis that the CFC has a positive impact on student learning, generally speaking, both regression discontinuity and difference-in-differences models indicate that being a beneficiary of the CFC has no effect on students’ achievement as measured by Prova Rio’s proficiency scores. The coefficients were, in fact, negative, indicating the program slightly reduced scores, although this effect was not statistically significant. Even though the findings provided by the RD design must be interpreted cautiously because of the lack of a large enough discontinuity near the cutoff point, it is corroborated by many of the results from the Difference-in-Differences analysis. This is, however, coherent with some of the international literature on the impacts of CCTs on “final” outcomes in education. In evaluating the impacts of the Cartão Família Carioca, this study addresses whether supplementing a baseline cash transfer by an additional amount in exchange for stricter conditionalities improves beneficiaries’ educational outcomes, as well as furthers the discussion regarding how much test grades in school really reflect student learning.