Este é o terceiro e último post de uma série que fizemos sobre avaliação de impacto em projetos sociais ou ambientais.

O primeiro post foi o sobre o que entendemos que é impacto em projetos e o segundo foi sobre o levantamento de dados para avaliação de impacto.

Anteriormente, tratamos o que entendemos por avaliação de impacto de projetos sociais ou ambientais. Também discutimos sobre o que são dados relacionados ao monitoramento de um projeto de impacto social e à avaliação de impacto de um projeto.

Neste último post, abordaremos sobre o que e como devem ser interpretados e criticados os dados apresentados de uma avaliação.

No final do último post falamos sobre a necessidade de levantar dados para comprovar a relação direta e sem interferência de outros fatores entre uma ação e seu resultado. No caso fictício que estamos abordando, os empreendedores que passaram nas capacitações, tiveram suas rendas aumentadas em 50%.

No entanto, é necessário questionar se o aumento realmente foi gerado porque ele participou das capacitações.

Alguns hão de dizer: mesmo que tenha havido ações externas, o empreendedor pode ter aprendido na capacitação aproveitar uma oportunidade alheia ele para aumentar sua renda. Sem dúvida. Não negamos essa possibilidade.

Mas com os dados que temos, podemos afirmar que isso aconteceu? Ou em outras palavras: é possível garantir que caso ele não tivesse participado da capacitação, ele não teria aproveitado esta oportunidade externa? Garantimos que apenas com as informações que temos em qualquer projeto, isso é categoricamente impossível.

(Ainda!) Não dá para voltar no tempo e fazer de conta que este empreendedor não passou pela capacitação e testar o que ele faria.

Entramos na discussão de maneira ainda mais profunda: durante a avaliação realizada um ano depois, ou mesmo previamente, foram determinados os critérios sobre melhoria da qualidade de vida dos empreendedores? O aumento da renda, por si, não é o impacto social buscado.

Aumentar a renda de um dado grupo de pessoas é a estratégia que este projeto escolheu para colaborar com o aumento da qualidade de vida delas. Acredite ou não, o aumento da qualidade de vida às vezes, não depende diretamente do aumento da renda.

Melhoria na qualidade de vida, para algumas pessoas, pode ser gerada simplesmente com uma reforma da casa onde mora. Par outras, a qualidade da vida melhoraria significativamente se divorciassem; para outras, se fizessem aulas de canto diariamente.  Em alguns casos, até as três coisas combinadas; cada uma em uma proporção. Qual é o parâmetro que se está chamando de “qualidade de vida”? Qual é o parâmetro para “melhora”?

Para um outro grupo de pessoas, sem dúvida alguma, aumentar a renda mensal familiar representa um aumento na qualidade de vida. Aumentar em quanto? Para uma família que tem renda total de R$1500, R$500 reais é um aumento perceptível. Para uma família que tem renda mensal total de R$20.000, nem tanto.

Mas tomemos um empreendedor específico daqueles do nosso projeto hipotético. Imagine que devido ao aumento de R$500 reais mensais, ele pôde fazer um tratamento dentário que há anos, aguardava vaga no serviço público. Ter tratamento dentário, permitiu que a qualidade da vida dele, do ponto de vista da saúde, melhorasse.

No entanto, vejam que irônico: o contrário também pode acontecer, até simultaneamente. Com o aumento da renda, este empreendedor, além de tratar dos dentes, também adquiriu um hábito: agora ele bebe diariamente antes de voltar para casa.

Sabemos que o hipotético projeto do nosso exemplo, antes de começar, teve certeza, por meio de pesquisa, que para aquelas pessoas, aumentar a renda era uma demanda real. E mais: que todos sabiam bem o que fazer com o dinheiro extra que passariam a ganhar.

Leitor: sinceramente, você crê que isso isso seja plenamente possível?

Depois de tantos anos de trabalho no setor social e ambiental, acreditamos que é muito difícil garantir tal informação.

Acreditamos também que afirmar que qualquer intervenção de um projeto, diretamente gerou um determinado impacto é uma postura altamente petulante. É um olhar simplista para algo rico, dinâmico e altamente impermanente.

Acreditamos que é possível afirmar que ações de um projeto colaboram para o alcance de um impacto. Impacto, como citamos lá no primeiro post, é um conjunto de mudanças. Um conjunto que deve ser olhado de maneira integral e através do maior número possível de camadas que nossa razão e capacidade crítica puderem listar.

Tratar projetos de avaliação de impacto de projeto social com a simplicidade de um projeto comercial é reduzir a complexidade humana a processos mapeáveis por organogramas e fluxogramas. Atuar no campo social apresentando fatos trágicos, ainda que hipotéticos, sobre a vida das pessoas como verdades absolutas é um desrespeito às pessoas. Aos participantes do projeto, ao campo de trabalho de tantos profissionais e à luta social.

A avaliação de impacto de projetos sociais não é cartesiana, e tão pouco óbvia. Enquanto ciência, é um campo do conhecimento que é novo e que se está desenvolvendo. Há diversas técnicas e diversas metodologias: divergentes e convergentes entre si. A escolha delas depende de muitos fatores.

Quando for realizar a avaliação de impacto de projetos sociais ou ambientais, ou quando contratar uma organização que a fará por você, tenha em mente os seguintes pontos:

1. Qual nosso grupo controle?
2. Qual o método estamos usamos para garantir a aleatorização da amostra?
3. Está clara a diferença das medições de ações, resultados, objetivos e impacto?
4. Qual método vamos usar para realizar a avaliação de impacto de projeto?

Se você ainda tiver alguma dúvida sobre este tema e quiser conversar com a gente sobre isso, não deixe de nos escrever: [email protected]. Teremos o maior prazer em fazer um ligação, tomar um café ou só trocar emails mesmo sobre este assunto! 😉