Um framework prático para a implementação da avaliação participativa em iniciativas do terceiro setor

Abstract

A crescente demanda por uma cultura e pela adoção de processos de avaliação entre as iniciativas de impacto social e ambiental, incluindo as de organizações do terceiro setor, tem influenciado o crescimento de novas abordagens, mais representativas e democráticas, como a da avaliação participativa. O estudo explora e se aprofunda nas teorias e práticas desta abordagem para propor um framework prático – que envolve princípios, motivações e estratégias - para uma implementação efetiva da avaliação participativa inclusiva em iniciativas do terceiro setor. A inclusão é tida como uma das premissas fundamentais para esta abordagem, uma vez que estabelece que a participação só é efetiva quando ela envolve os stakeholders na tomada de decisão do processo avaliativo, para além da coleta de dados. Para chegar na proposta do framework, o estudo se utilizou da abordagem qualitativa e da técnica de triangulação entre a análise teórica, uma revisão sistemática qualitativa da literatura com 14 publicações de casos práticos de implementação (base inicial de 5.306 publicações, das quais foram selecionadas 100 de acordo com a relevância e coerência com o tema) e entrevistas com três organizações do terceiro setor, sendo duas delas com experiência no tema. As entrevistas e uma breve análise documental apoiaram o aprimoramento do framework inicialmente estruturado e a adaptação das premissas para o terceiro setor. O framework foi estruturado de acordo com as etapas de implementação da avaliação, com foco na abordagem participativa, incluindo da definição dos objetivos, definição dos participantes, até o monitoramento da avaliação. Além das recomendações práticas propostas, chega-se, ao final, em dez pontos-chave para uma implementação efetiva da abordagem participativa por organizações do terceiro setor. Entre os pontos, destaca-se aqui alguns deles: tempo e recurso financeiro mostraram ser barreiras altamente relevantes para o setor, ao mesmo tempo que críticos para alavancar a qualidade da participação; o alinhamento dos valores da organização e da alta gestão com os princípios da abordagem participativa é chave para esta avaliação; iniciativas que dependem dos beneficiários para acontecer podem ver maior valor do uso da avaliação participativa; o perfil e as atitudes dos facilitadores são essenciais para o sucesso da inclusão; e a capacidade da abordagem participativa em ampliar os impactos do programa e sua perenidade. Por fim, como limitação, este framework não foi aplicado a um caso real de avaliação participativa, o que é apresentado como um potencial próximo estudo.

The increasing demand for an evaluation culture and the adoption of impact assessment processes among social and environmental impact initiatives, specially from third sector organizations, has influenced new approaches which are more representative and democratic, such as the participatory evaluation. This study explores the theory and practices of the participatory approach and propose a practical framework – involving principles, motivations and strategies – for an effective implementation of an inclusive participatory evaluation in third sector initiatives. Inclusion is considered one of the fundamental premises for this approach, as it establishes that participation is only effective when it involves stakeholders in the decisionmaking process of the evaluation, beyond data sourcing. For the framework proposal, the study used the qualitative method and the triangulation technique of a theoretical analysis, a qualitative systematic review of the literature with 14 publications based on practical cases of participatory evaluation (initial base of 5,306 publications, of which were selected 100 according to the relevance and coherence with the theme) and interviews with three Brazilian third sector organizations, two of which have experience with this approach. The interviews and a brief documental analysis supported the improvement of the framework initially structured and the adaptation of some premises for the third sector. The framework was structured based on the stages of an evaluation process, with a focus on the participatory approach, from the definition of the objectives and the participants to the monitoring process. In addition to the proposed practical recommendations, ten key points are defined for an effective implementation of the participatory approach by third sector organizations. Some points are highlighted here: time and financial resources proved to be highly relevant barriers for this sector, at the same time are critical to leverage the quality of participation; the alignment of the values of the organization and top management with the principles of participatory approach is key to this evaluation; initiatives that depend on beneficiaries to happen might find greater value in using participatory evaluation; the profile and attitudes of the facilitators are essential for the success of inclusion; and the capacity of participatory approach to expand the program’s impacts and its sustainability. As a limitation, it is noteworthy that this framework was not applied to a real case of participatory evaluation, which is presented as a potential future study.