Exames curriculares e resultados educacionais: uma análise do exame nacional do ensino médio

Abstract

This dissertation assesses the effects of Brazilian National High School Exam (ENEM) on educational results. This evaluation is based on the theoretical results that curriculum examinations like ENEM are capable of having positive influence on students learning by: raising their effort and pressure on their teachers and school principals. The present work analyses this last channel, through estimating the impact of the public report of ENEM‟s grades by school. The effects of this treatment are estimated on: Math and Reading proficiency, quantities of school inputs and teacher‟s behavior. Two econometric methods are used: i) differences in differences – using data from 2005 (pre treatment period) and 2007 Saeb (first post treatment year) and ii) regression discontinuity design, exploiting the sharp rule of assignment to treatment – only schools with at least 10 students participating of ENEM have their results published. Evidences show that reporting ENEM‟s grades doesn‟t seem to influence the high school students‟ proficiency neither the level of school inputs, result confirmed by both methods. The differences in differences estimates also reveal that teachers of treated schools seem to focus more on solving Math exercises and fixing grammatical concepts, reactions that can be interpreted as adverse effects. This last evidence, however, may be misleading, reflecting only time tendencies and persistent pre treatment differences. We conclude that publication of ENEM‟s grades haven‟t act as an instrument to improve educational results by pressuring teachers and school administrators. Nonetheless, it‟s still possible that this policy works after a longer period or for other types schools, not evaluated by the proposed methods.

Esta dissertação avalia os efeitos do Exame Nacional do Ensino Médio (ENEM) sobre o ensino médio brasileiro. Esta avaliação baseia-se na teoria de que exames curriculares com a qualidade de gerar conseqüências diretas sobre os alunos, como no caso do ENEM, são capazes de influenciar positivamente o aprendizado dos alunos por dois canais: por aumento de seu esforço e pela pressão que exercem sobre professores e diretores. O presente trabalho avalia especificamente o segundo canal, sobre o qual o ENEM deve atuar por meio da divulgação ao público das notas médias por escola em todo o país. Neste sentido, estima-se o efeito da divulgação das notas do ENEM sobre os seguintes resultados educacionais: proficiência em Matemática e Língua Portuguesa no Saeb, alocação de insumos escolares e comportamento dos professores. Para tanto, dois métodos são propostos: i) diferenças em diferenças, utilizando dados dos Saeb de 2005 – um ano antes do início da divulgação – e 2007 – um ano após a primeira publicação – e ii) regressão com descontinuidade, explorando o fato de haver uma regra estrita para entrada da escola na divulgação – ter ao menos 10 concluintes do ensino médio participando do ENEM. Os resultados mostram que o fato uma escola ter seu resultado médio no ENEM divulgado não parece influenciar o desempenho de seus alunos nem a quantidade de seus insumos escolares, por nenhum dos métodos propostos. O método de diferenças em diferenças aponta ainda que os professores de escolas submetidas ao tratamento dessa divulgação parecem ter maior enfoque em atividades voltadas a resolução de exercícios e fixação de regras gramaticais, reação que é interpretada por parte da literatura como adversa. Estes últimos resultados, no entanto, podem estar refletindo apenas tendências temporais preexistentes e não um efeito de tratamento legítimo. Conclui-se então que o ENEM não deve estar servindo como indutor de melhorias dos resultados educacionais via pressão dos alunos do ensino médio. Porém, é possível levantar a hipótese de que este tipo de efeito ainda pode ser captado em prazos mais longos ou para grupos de escolas diferentes das usadas na análise.