CIPROS | Monitoria & Avaliação: Como Medir o Impacto de um Projeto
Na publicação anterior desta série, foi apresentada a matriz de monitoria como o instrumento que organiza a recolha de dados ao longo da execução de um projeto. Esses dados permitem acompanhar produtos e efeitos imediatos, mas deixam uma pergunta em aberto: o projeto produziu, de facto, uma mudança duradoura na vida das pessoas ou organizações que pretendia beneficiar? Responder a esta pergunta é o objetivo da avaliação de impacto, a etapa mais exigente e mais frequentemente mal compreendida — de um sistema de Monitoria e Avaliação.
1. O Que Distingue o Impacto dos Outros Níveis de Resultado
Retomando a cadeia de resultados: o insumo é o que se investe, o produto é o que se entrega, o efeito é a mudança de curto e médio prazo no comportamento ou capacidade dos beneficiários, e o impacto é a mudança de longo prazo nas condições de vida ou no funcionamento das instituições, sustentada no tempo e, muitas vezes, partilhada com outros fatores externos ao projeto. Um programa de formação profissional pode ter como produto "500 pessoas formadas", como efeito "300 pessoas empregadas seis meses depois", e como impacto "redução sustentada da pobreza nos agregados familiares dessas pessoas ao longo de três anos" este último depende também da situação económica geral, o que torna a sua medição mais complexa.
2. O Problema da Atribuição
A principal dificuldade em medir impacto não é observar a mudança, mas demonstrar que o projeto a causou. Entre o início de uma intervenção e o momento em que se observa uma mudança, ocorrem inúmeros outros fatores políticas públicas, condições de mercado, outros programas na mesma zona — que também podem ter contribuído. Atribuir toda a mudança observada ao projeto, sem considerar estes fatores, é um dos erros mais comuns em relatórios de fim de projeto, e compromete a credibilidade dos resultados apresentados a doadores e parceiros.
3. O Contrafactual: A Pergunta Central
Para isolar o efeito de um projeto, a avaliação de impacto rigorosa recorre à noção de contrafactual: o que teria acontecido às pessoas beneficiárias se o projeto não tivesse existido? Como não é possível observar diretamente essa situação hipotética, os desenhos de avaliação de impacto procuram aproximá-la através de um grupo de comparação — pessoas ou comunidades semelhantes às beneficiárias, mas que não foram abrangidas pelo projeto. A diferença entre a evolução do grupo beneficiário e a do grupo de comparação é a estimativa do impacto atribuível ao projeto.
4. Desenhos de Avaliação de Impacto
Existem diferentes formas de construir esse grupo de comparação, com níveis crescentes de rigor e de custo. Os desenhos experimentais, como os ensaios controlados aleatorizados, atribuem aleatoriamente participantes elegíveis a um grupo que recebe o projeto e a um grupo que não recebe, o que garante que as diferenças observadas no final sejam atribuíveis à intervenção — são o padrão mais rigoroso, mas nem sempre éticos ou viáveis. Os desenhos quasi-experimentais, como o pareamento por pontuação de propensão ou a comparação de diferenças em diferenças, constroem um grupo de comparação estatisticamente semelhante ao grupo beneficiário, sem recorrer a atribuição aleatória, sendo úteis quando a aleatorização não é possível. As abordagens baseadas em teoria, como a análise de contribuição, não isolam um efeito estatístico exato, mas testam sistematicamente se a cadeia de resultados prevista na teoria de mudança do projeto é consistente com as evidências recolhidas, sendo mais adequadas a projetos complexos ou de pequena escala, onde um grupo de comparação não é viável.
5. Cuidados Metodológicos a Ter em Conta
Independentemente do desenho escolhido, algumas precauções são transversais: o impacto geralmente só se manifesta passado tempo suficiente após a conclusão das atividades, pelo que avaliações realizadas demasiado cedo tendem a subestimá-lo; o grupo de comparação deve ser tão semelhante quanto possível ao grupo beneficiário nas características relevantes, sob risco de enviesar os resultados; e a sustentabilidade da mudança deve ser verificada, distinguindo efeitos temporários de transformações duradouras.
6. Quando Vale a Pena Investir numa Avaliação de Impacto Rigorosa
Nem todos os projetos justificam o custo e a complexidade de um desenho experimental ou quasi-experimental. Esse investimento faz mais sentido quando o projeto é inovador e a sua eficácia ainda não está comprovada, quando os resultados irão informar decisões de expansão ou de financiamento em maior escala, ou quando existe replicabilidade suficiente para justificar o esforço metodológico. Para projetos de menor escala ou em fase piloto, abordagens mais leves, como a análise de contribuição, aliadas a um sistema de monitoria robusto, são frequentemente suficientes para gerar aprendizagem útil.
Conclusão
Medir impacto exige rigor metodológico, tempo e, muitas vezes, recursos adicionais — mas é o que permite distinguir projetos que verdadeiramente transformam vidas daqueles que apenas cumprem metas de entrega. Um sistema de Monitoria e Avaliação bem desenhado, como discutido ao longo desta série, cria a base de dados e de indicadores que tornam essa avaliação possível e credível.
Na próxima publicação desta série, esclarece-se uma confusão frequente na prática de projetos: a diferença entre monitoria, avaliação e impacto — três termos usados, por vezes, como sinónimos, mas que respondem a perguntas distintas.
A CIPROS Consulting & Services oferece formação especializada em Monitoria e Avaliação de projetos, incluindo desenho de avaliações de impacto adaptadas à realidade de organizações e programas de desenvolvimento. Para mais informações sobre os nossos programas de formação, entre em contacto connosco.
Comentários
Enviar um comentário