Learning about corruption: a statistical framework for working with audit reports

Abstract

Quantitative studies aiming to disentangle public corruption effects often emphasize the lack of objective information in this research area. The CGU Random Audits Anti-Corruption Program, based on extensive and unadvertised audits of transfers from the federal government to municipalities, emerged as a potential source to try to fill this gap. Reports generated by these audits describe corrupt and mismanagement practices in detail, but reading and coding them manually is laborious and requires specialized people to do it. We propose a statistical framework to guide the use of text data to construct objective indicators of corruption and use it in inferential models. It consists of two main steps. In the first one, we use machine learning methods for text classification to create an indicator of corruption based on irregularities from audit reports. In the second step, we use this indicator in a regression model, accounting for the measurement error carried from the first step. To validate this framework, we replicate an empirical strategy presented by Ferraz et al. (2012) to estimate effects of corruption in educational funds on primary school students’ outcomes, between 2006 and 2015. We achieved an expected accuracy of 92% on the binary classification of irregularities, and our results endorse Ferraz et al.. findings: students in municipal schools perform significantly worse on standardized tests in municipalities where was found corruption in education.

Estudos quantitativos em corrupção política enfatizam a falta de informações objetivas nessa área de pesquisa. O Programa de Fiscalização por Sorteios Públicos da CGU se baseia em auditorias não anunciadas das transferências do Governo Federal para municípios, e aparece como uma potencial solução para essa lacuna. Relatórios gerados durante essas auditorias descrevem com detalhe práticas de corrupção e de má gestão pública. No entanto, a análise manual desses relatórios é penosa e requer o conhecimento de especialistas. Nós propomos um framework estatístico para guiar o uso desses dados textuais na construção de indicadores objetivos de corrupção e em modelos de inferência. O framework consiste em duas etapas gerais. Na primeira, usamos métodos de aprendizagem de máquinas para classificação das irregularidades constatadas durante as auditorias. Na segunda etapa, construímos um indicador de corrupção baseado na classificação e o utilizamos em um modelo de regressão, ajustando pelo erro de medida derivado da primeira etapa. Para validar essa metodologia, nós replicamos a estratégia empírica apresentada por Ferraz et al. (2012) para estimar o efeito da corrupção em fundos educacionais nos resultados escolares de alunos do Ensino Fundamental, entre os anos de 2006-2015. Nós obtemos uma acurácia média de 92% na classificação binária de irregularidades, e nossos resultados corroboram com os encontrados em Ferraz et al.: estudantes de escolas municipais apresentam resultados significativamente piores em testes padronizados se estudam municípios com indícios de corrupção na área de educação