Medindo a eficácia dos professores: o uso de modelos de valor agregado para estimar o efeito do professor sobre o desempenho dos alunos

Abstract

Given the importante of teachers to the educational process and availability of data for estimating measures of teacher effectiveness, understood as the ability to produce results in terms of student learning, this study sought to apply a value-added model to estimate and analyse the effectiveness of a sample of teachers who taught fourth grade in São Paulo’s municipal schools. We obtained evidence that variation in teacher effectiveness explains about 9% of the variation in students scores from the analysed sample, less than the variation in student background variables, aorund 15%, but more than variation in school variables, around 5%. For estimating teacher individual effects, results indicate that an increase of one standard-deviation in teacher effects would lead to a minimum increase of 0,062 standard deviation on student scores on Portuguese and 0,049 standard deviation on Mathematics, which represent 2,79 points in Portuguese and 2,20 points in Mathematics. In the analysis of factors associated to the teacher effects were found positive associations between the following variables and teacher effects: time devoted to teaching job out of the school, how often the teacher asks homework, and use of Learning and Support Workbooks. The analysis of reliability and stability of estimated teacher effect measurements indicate that this data have a limited capacity to support recommendations regarding personnel policies, but allow to identify that about 13% of the teachers had different effects from the estimated average. Given this distinction, these teachers are the ideal target to future research on their teaching practices, especially on the factors for which we observed a positive association with the estimated teacher effects.

Dadas a importância dos professores para o processo educacional e a disponibilidade de dados para a estimação de medidas de eficácia dos professores, entendida como a capacidade em produzir resultados em termos da aprendizagem dos alunos, este trabalho buscou aplicar um modelo de valor agregado para estimar e analisar a eficácia de uma amostra dos professores que lecionaram para a 4ª série da rede municipal de ensino de São Paulo no ano de 2010. Obtivemos evidências de que a variação na eficácia dos professores explicaria cerca de 9% da variação nas notas dos alunos da amostra analisada, menos do que a variação nas variáveis de background dos alunos, em torno de 15%, mas mais do que a variação nas variáveis de escola, em torno de 5%. Na estimação dos efeitos professor individuais, os resultados indicam que um aumento de um desvio-padrão nos efeitos professor levaria a um aumento de, no mínimo, 0,062 desvio-padrão na proficiência dos alunos em Língua Portuguesa e 0,049 desvio-padrão em Matemática, que correspondem a, 2,79 pontos em Língua Portuguesa e 2,20 pontos em Matemática. Na análise dos fatores associados aos efeitos professor estimados, foram encontradas associações positivas entre as seguintes variáveis e os efeitos professor: o tempo dedicado ao trabalho pedagógico fora da escola, a freqüência com que o professor passa lição de casa e o uso dos Cadernos de Apoio e Aprendizagem. As análises acerca da confiabilidade e da estabilidade das medidas de efeito professor estimadas indicam que os dados utilizados têm uma capacidade limitada para subsidiar recomendações em relação às políticas de pessoal, porém permitem identificar que cerca de 13% dos professores tiveram efeitos estimados distintos da média. Dada essa distinção, esses professores são o público ideal para pesquisas futuras sobre suas práticas docentes, em especial sobre os fatores para os quais foi observada uma associação positiva com os efeitos professor estimados.