Avaliações baseadas em Métodos Mistos: Oportunidades e Desafios IV Seminário Nacional da Rede Brasileira de Monitoramento e Avaliação Rio de Janeiro, Agosto 13 2012 Avaliações baseadas em Métodos Mistos: Oportunidades e Desafios SESSÃO 6 UTILIZANDO MÉTODOS MISTOS PARA REFORÇAR CADA ESTÁGIO DA AVALIAÇÃO MICHAEL BAMBERGER E THOMAZ CHIANCA

Resumo da Sessão Utilizando métodos mistos para fortalecer os desenhos convencionais de avaliação de impacto Utilizando métodos mistos no estágio do desenho da avaliação Desenhos de amostras com métodos mistos Abordagens de métodos mistos para coleta de dados Interpretação e análise de dados com métodos mistos Disseminação e relatórios utilizando métodos mistos

Reforçando a validade da construção Contextualizando a avaliação 1. Utilizando métodos mistos para fortalecer os desenhos convencionais de avaliação de impacto Fortalecendo desenhos de avaliação Reforçando a validade da construção Contextualizando a avaliação Análise do processo de implementação do projeto Aumentar a flexibilidade do desenho da avaliaçã0 Reforçar a estrutura da amostragem Prazo para avaliar os impactos Melhorar a combinação do grupo de controle

Reforçando a coleta de dados Reconstruir a linha de base Melhorar a validade dos indicadores Entrevistar grupos difíceis de alcançar Informações sobre tópicos sensíveis Atenção para regras contextuais A possível perda do grupo de controle

Reforçando análise e utilização dos resultados de avaliação Evitar longos atrasos em produzir recomendações e achados úteis Melhores estimativas de não observáveis Reforçar a generalização para outras configurações

2. Desenhos de avaliação baseados em métodos mistos Integrar estruturas teóricas QUANT e QUAL Combinar geração de hipóteses dedutivas (QUANT) e indutivas (QUAL) Papel importante para modelos de teorias de programa

Um modelo lógico básico [Apostila 7-1] Construir pressupostos testáveis sobre como os fatores contextuais afetam a implementação e os resultados Contexto econômico no qual o projeto opera Ambiente e contexto político no qual o projeto opera Contexto institucional e operacional Ambiente físico Desenho [Formulação E Justificativa] Entradas A Processo de Implementação [Atividades] A Entregas A Resultados [Desejado e Não desejado] A Impactos [Desejado e Não desejado] A Sustentabilidade Construir pressupostos testáveis entre cada etapa Características culturais e socioeconômicas das populações afetadas Anos

Modelo da Cadeia de Resultados para o Programa de Desenvolvimento de Pequenas Empresas de Mulheres [Apostila 7-2] Resultados negativos Resultados positivos Mulheres têm acesso limitado para oportunidades econômicas devido à falta de acesso a crédito e outros recursos produtivos e ao controle social Projeto oferece crédito, assistência técnica e formação de grupo Mulheres criam negócios Mulheres não criam negócios Geram lucros Marido se apropria do lucro Mulher paga as dívidas Uso para dote Melhoria do bem-estar Doméstico no curto prazo Lucro re-investido Negócio sustentado Empresa entra em falência Melhoria permanente no bem-estar doméstico Limitações de tempo Falta de demanda Nutrição, saúde, vestuário Melhoria da habitação Pressões sociais Falta de recursos produtivos Melhoria da educação especialmente para garotas Melhorias econômicas

3. Desenhos de amostras utilizando métodos mistos [Apostila 7-3] Estratégias básicas de MM Amostragem proposital e aleatória Amostragem utilizando métodos mistos em paralelo Amostragem MM sequencial Amostragem MM multi-níveis Amostragem agrupada Amostragem separa unidades de análise utilizando uma estrutura de amostragem mestre para assegurar a comparabilidade

4. Abordagens de métodos mistos para coleta de dados Combinar todos os métodos de coleta de dados QUANT e QUAL Métodos MM usados normalmente Observação Fontes secundárias e medidas discretas Grupos focais Métodos de discussão e participativos e PRA Integrar entrevistas em profundidade e pesquisas estruturadas

Análise de dados MM paralelo Conversão da análise de dados MM 5. Abordagens do método misto para interpretação e análise de dados [Apostila 7-4] Análise de dados MM paralelo Conversão da análise de dados MM Análise de dados MM sequencial Análise de dados MM multi-nível Aplicar aspectos de estrutura analítica de uma tradição com outra tradição

Utilizando métodos mistos para reforçar a interpretação dos achados Análise estatística frequentemente inclui achados não esperados ou interessantes que podem não ser explicados por meio da estatística. Visitas rápidas de acompanhamento podem ajudar a explicar os achados. Add Brown reference

Interpretando os achados Uma pesquisa QUANT de gerenciamento de água comunitário na Indonésia descobriu que com apenas uma exceção todo o fornecimento de água da vila era gerenciado por mulheres Visitas de acompanhamento descobriram que uma única uma mulher gerenciou um negócio agrícola muito rentável – dessa forma, os homens estavam dispostos a gerenciar a água para permitir que as mulheres tivessem tempo para produzir e vender a produção diária Fonte: Brown (2000)

PROCESSO DE TRIANGULAÇÃO Validando achados por meio da triangulação Possível retorno para o campo Coleta de dados QUANT Dados sobre a renda e despesas coletados da pesquisa domiciliar Coleta de dados QUAL Sub-amostra de famílias entrevistadas selecionadas. Entrevistas, informantes chave e observação. Notas detalhadas, entrevistas gravadas e fotos. PROCESSO DE TRIANGULAÇÃO Descobertas comparadas, reconciliadas e integradas. Quando diferentes estimativas são obtidas, todos os dados são revisados para entender por que as diferenças ocorrem. Se necessário, as equipes podem retornar para o campo para investigar mais. Análise de dados QUANT: Calculando média, distribuições de frequência e desvio padrão de renda e despesas Análise de dados QUAL Revisão das notas das entrevistas e de observação. Análise utilizando método comparativo constante

6. Relatórios e disseminação Relatórios muitas vezes são dirigidos a públicos mais abrangentes Ir além de longos relatórios escritos e apresentações em PowerPoint Envolver os beneficiários nas apresentações Incluir visitas ao projeto nas apresentações Estruturar a narrativa em torno da teoria de mudança Uso de apresentação audiovisual Vídeos, fotos Incluir estudos de caso Métodos de apresentação sensíveis culturalmente Dança, teatro, narração de histórias

Relatórios de resultado colaborativos (Apostila 7-6) Planejamento, coleta e análise de dados Definição do escopo Coleta de dados Integração e análise de dados Painel de resultados Workshop de Cúpula Processo de entrevista Estrutura do relatório Descrição do Programa e sua lóigica Gráfico de resultados Implicações Instâncias de mudança significativa Índice