ESTUDOS DE CasO ILUSTRAndo O UsO DOS MÉTODOS MISTOS IV Seminário Nacional da Rede Brasileira de Monitoramento e Avaliação Rio de Janeiro, Agosto 13 2012 Avaliações baseadas em Métodos Mistos: Oportunidades e Desafios SessÃO 3 ESTUDOS DE CasO ILUSTRAndo O UsO DOS MÉTODOS MISTOS Michael Bamberger E Thomaz Chianca

Resumo da Sessão Avaliar a eficácia do Programa de Reforma Gram Panchayat na Índia: um desenho de métodos mistos mais complexo e caro Avaliar os impactos do projeto Heifer International: uma abordagem mais simples e mais econômica para avaliar grandes projetos sendo implementados em diversos locais diferentes

Finalidade do programa Caso 1. Avaliando o Programa de Reforma Gram Panchayat na Índia [Apostila 6-1] Finalidade do programa Descentralizar o poder para governos locais eleitos democraticamente (gram panchayats – GP) Aumentar o envolvimento de mulheres e castas marginalizadas Criar “espaço deliberativo” através de reuniões realizadas duas vezes ao ano para discutir programas anti-pobreza e outros programas importantes Aumentar a efetividade da utilização de fundos por meio de maior participação da comunidade

Finalidade da avaliação Avaliar a efetividade do programa em Kerala, um dos estados socialmente mais progressivos Comparar o resultado com a vizinha Karnataka, que possui desenvolvimento social bem mais baixo, para avaliar o quanto o modelo pode ser replicado.

O “tratamento” do programa O “tratamento” sendo avaliado é um programa de treinamento de 2 semanas para cidadãos sobre planejamento participativo e tomada de decisão Locais para receber o “tratamento” e ser parte do grupo “controle” aleatoriamente selecionados Uma reunião é realizada após 2 semanas para finalizar prioridades e discutir com representantes do governo local Um acordo de implementação é assinado nos locais onde os financiamentos estão comprometidos e suporte técnico é fornecido Os GPs são monitorados com visitas de 2 dias por mês para assegurar que o programa está no caminho certo

Desenho da avaliação baseada em métodos mistos Pesquisa de linha de base em 200 vilas selecionadas aleatoriamente para tratamento e controle Qualidade e quantidade de bens públicos Casta Desigualdade na propriedade da terra Entrevistas em profundidade com políticos e oficiais locais das vilas 20 famílias selecionadas aleatoriamente de cada vila para o questionário sobre o situação socioeconômica, preferências por bens públicos, participação política e redes sociais

Pesquisa com as mesmas vilas e famílias foi realizada novamente com os mesmos instrumentos. Este aspecto possibilita um estudo experimental (com distribuição aleatória) dos efeitos do programa de “tratamento”

Análise do processo de implementação do projeto Um subconjunto de 5 GPs de tratamento e controle foi selecionado a partir da amostra de pesquisa quantitativa Investigadores qualitativos visitaram cada GP por 1-2 dias a cada semana durante o período de 2 anos para observar: Dinâmica política e social Corrupção Mudança econômica Filiação a redes O estudo qualitativo fornece uma verificação independente nas estimativas de pesquisa quantitativa relativas a mudanças/impactos Também fornece informações mais profundas para complementar e ilustrar os achados da pesquisa

Desenho de avaliação baseada em métodos mistos: Avaliando a Efetividade do Programa de Reforma Gram Panchayat para Promover Descentralização Democrática na Índia Qual Quant Quant Qual Quant O “tratamento” Triangulação para comparar estimativas QUANT e QUAL das mudanças/impactos Programa de treinamento e acordo de financiamento/suporte técnico com conselhos locais Monitoramento mensal para assegurar que está no caminho certo Seleção de GPs com distribuição aleatória para projeto e controle Pesquisa exploratória sobre posse de terra, propriedade de bens públicos, participação e redes sociais Pesquisa de linha de base antes do programa de treinamento Análise do processo em profundidade em 5 projetos e 5 vilas de controle durante o período de 2 anos Estudo de linha de base repetido após 2 anos

Caso 2: Avaliando os impactos do trabalho da Heifer International em 23 países [Apostila 6-2] Propósito dos projetos Heifer  Heifer International is a U.S.- based nonprofit organization in operation for more than 60 years.  Projects supported by Heifer have reached millions of people in 128 countries, by providing families with a food and income source, animals in most cases, rather than short-term relief— “help hungry people to feed themselves.”  Perhaps the most interesting feature of their approach is called “passing on the gift”—those receiving the animals must pass on as many animals they received at the same quality to another family within a short period of time—guinea-pigs can take as little as 6 to 8 months while cows might take as long as 4 to 5 years.  Along with the animals Heifer also provides support and training in key areas such as livestock care, environment protection/recuperation, income generating activities, gender equity, leadership, creation of community grassroots organizations, cooperativism, etc.

Os desafios da avaliação Avaliar o impacto de projetos complexos e multifacetados visando a redução de pobreza, desenvolvimento rural, e proteção do meio ambiente apoiados pela Heifer em diversos países. Inexistência de linha de base Orçamento limitado Pouco tempo The main request made by Heifer was for us to evaluate the impact of a sample of their projects in several countries. Some of the main challenges we had to face included no baseline data (no identification of key variables to measure), and, as virtually always is the case, we had to deal with limitations in budget and timeframe to conduct the study.

Perguntas avaliativas Impactos: Pobreza Meio-ambiente Empoderamento da comunidade Equidade de gênero Relevância da estratégia em relação às necessidades Eficácia (resultados vs. objetivos) Eficiência (resultados vs. recursos/custos/cronograma) Sustentabilidade dos resultados positivos The main evaluation questions posed by Heifer, as you can see were quite broad and congruent with the most commonly used set of criteria for evaluation of international development interventions: the DAC (Development Assistance Committee) from the Organization for Economic Development and Cooperation. Besides information about the impact of their projects on poverty alleviation, environmental protection, institutional development of local partners and on gender equity, Heifer wanted to learn also about the (i) relevance of the projects’ strategies in relation to the needs of the target population, the extent to which the (ii) expected results were being achieved (iii) within a reasonable timeframe and use of resources, and (iv) whether the positive stream of impacts were being sustained overtime.

O Modelo de Pegadas da Heifer Sobre o solo No solo Abaixo do solo Impacto atribuído à Heifer: • In designing the impact assessment, the evaluation team used a metaphor of a footprint—the impact on the environment left by a traveling creature. In this case, the creature is a heifer, and its conventional impact is the footprints or tracks it leaves on the ground. • These represent material changes of the most apparent kind (e.g., income, herd ownership, education, health), though they are often so slight that identifying them requires the skills of a professional tracker (evaluator). • Two other dimensions of the “Heifer Hoofprint” were also sought: (i) tracks left above the ground, corresponding to changes in the environment that mark the heifer’s path (impacts in the communities, region, etc.); and (ii) impact below the ground, representing the desired changes in fundamental values, especially increased sense of loyalty to the group rather than just to oneself and one’s family and increased social capital.

One of the first key things we did in year 2 to get to the heart of what was important to assess and to make things manageable for the evaluation team, we congregated the 23 existing Heifer values into 6 value groups. As you might imagine this wasn’t a simple task and required a lot of time to develop and consult with members of the evaluation team and with Heifer staff to make sure they properly represented all core values we would like to assess. The six value groups were broken into 23 criteria and 103 indicators that helped us organize the strategies for data collection and analyses.

Estratégias quantitativas e qualitativas Amostragem Coleta de dados Análise de dados Qual Quant + Qual Quant Amostra com propósito de projetos a serem visitados em cada país Entrevistas com participantes & não-participantes Atribuição de escore para cada indicador e critério baseado nas rubricas e informações QUAL & QUANT (linha de base reconstruída & situação corrente) Lista de checagem sobre situação da residência, uso da terra, condições dos animais, etc. Quant Qual Entrevistas com líderes comunitários, ONGs & funcionários do governo Amostra aleatória simples para selecionar famílias a serem entrevistadas Explicações para as principais conclusões e recomendações Encontro aberto com membros da comunidade

Exemplo de gráfico representando impacto

Apoio para uso dos resultados da avaliação Reunião para discutir achados iniciais antes de sair do país Discussão do relatório preliminar antes de enviá-lo Apoio após o envio do relatório para entendimento e uso dos resultados (email e telefone/skype)