Avaliações baseadas em Métodos Mistos: Oportunidades e Desafios IV Seminário Nacional da Rede Brasileira de Monitoramento e Avaliação Rio de Janeiro, Agosto 13 2012 Avaliações baseadas em Métodos Mistos: Oportunidades e Desafios SESSÃO 4 DESENHOS DE AVALIAÇÃO BASEADAS EM MÉTODOS MISTOS MICHAEL BAMBERGER E THOMAZ CHIANCA

Resumo Quatro dimensões para classificar desenhos MM Dimensão 1: Qual abordagem é dominante? Dimensão 2: Desenhos paralelos e sequenciais Dimensão 3: Desenhos únicos e multi-níveis Em quais estágios da avaliação os métodos mistos são usados?

1. Quatro dimensões para classificar desenhos baseados em métodos mistos Os métodos QUANT e QUAL são de valor igual ou é uma abordagem Dominante? Os métodos QUANT e QUAL usados: Sequencialmente Ao mesmo tempo O projeto é: Único Multi-nível Em quais estágios da avaliação os métodos mistos são usados?

Dimensão 1: Qual abordagem é dominante? Abordagem quantitativa é dominante Abordagem qualitativa é dominante Ambas têm peso igual na avaliação

O continuum desenho de pesquisa QUANT - QUAL Estudos orientados QUAL incorporando gradualmente mais foco QUANT QUANT QUAL E F G D A B C Estudos orientados QUANT incorporando gradualmente o foco QUAL A = Desenho completamente QUANT B = Desenho dominantemente QUANT com alguns elementos QUAL C = Desenhos com orientação QUANT com igual peso para ambas as abordagens D = Estudo desenhado com MM E = Desenhos com orientação QUAL com igual peso para ambas as abordagens F = Desenho dominantemente QUAL com alguns elementos QUANT G = Desenho completamente QUAL

Um desenho de avaliação dominantemente quantitativo QUAL E F G D A B C Exemplo: Um estudo de diagnóstico rápido qualitativo é realizado para ajudar a desenhar uma pesquisa domiciliar quantitativa. Os dados são analisados utilizando técnicas de análise quantitativa [por exemplo, análise de regressão]

Um desenho de avaliação dominantemente qualitativo QUANT QUAL E F G D A B C Exemplo Uma pesquisa amostral rápida quantitativa é conduzida. Isto é usado para desenvolver uma tipologia de sistemas de produção de arroz. Estudos de caso qualitativos são selecionados para representar cada tipo. Os dados são analisados e apresentados utilizando métodos qualitativos como descrições narrativas, fotografias e mapas sociais.

Veja a Apostila 4-1 para exemplos de projetos de avaliação em cada ponto no continuum QUANT- QUAL

Dimensão 2: O desenho é sequencial ou paralelo? Desenhos Sequenciais : As abordagens QUANT e QUAL são usadas em seqüencia. Desenhos Paralelos: As abordagens QUANT e QUAL são empregadas ao mesmo tempo.

Desenhos baseados em métodos mistos dominantemente QUAL sequenciais: Avaliando o emprego de novas variedades de sementes por diferentes tipos de famílias rurais. QUAL quant QUAL Pesquisa domiciliar rápida QUANT nas comunidades do projeto para estimativa, características HH, etnia, produção agrícola e adoção de semente Coleta de dados QUAL utilizando grupos focais de informantes chave, observação e preparação de estudos de caso em domicílios e práticas agrícolas. Análise de dados QUAL utilizando análise entre-casos e comparação constante. Triangulação entre diferentes fontes de dados.

Desenho baseados em métodos mistos dominantemente QUANT sequencial Desenho baseados em métodos mistos dominantemente QUANT sequencial. Estudando transferências interfamiliares como uma estratégia de sobrevivência. Cartagena, Colômbia qual QUANT QUANT Estudo etnográfico de 4 semanas para entender as estratégias de sobrevivência familiar, mecanismos de transferências interfamiliares e o conceito de uma família Pesquisa de amostra familiar quantificando o volume e tipos de transferência entre famílias dentro e fora da comunidade Análise econométrica para quantificar as transferências e identificar fatores que determinam a direção e magnitude das transferências

Um desenho MM paralelo: Triangulação das estimativas QUANT e QUAL dos rendimentos familiares em áreas de projeto e de comparação Um desenho equilibrado proporcionando peso igual para os métodos QUANT e QUAL Comunidades do Projeto Pesquisa familiar QUANT QUANT/QUAL Observação das posses familiares e qualidade das construções QUAL: Grupos focais Triangulação das estimativas das 3 fontes – para obter a estimativa mais confiável do rendimento familiar Comunidades de comparação

Dimensão 3: Projetos de avaliação MM Multi-níveis

Desenho baseado em métodos misto multi-níveis: os efeitos de um programa de alimentação escolar na matrícula e frequência escolar [Apostila 4-2] Métodos quantitativos Métodos qualitativos Distrito escolar Análise QUANT de registros escolares Amostra de escolas Análise QUANT de frequência e notas de avaliações Entrevistas QUAL com administradores e coordenador Entrevistas com professores sobre como os programas alimentares afetam a frequência Amostra de aulas e professores Observação QUANT do nº de alunos frequentando as aulas Entrevistas com grupos focais de alunos Amostra de estudantes Questionário QUANT preenchido pelos alunos Entrevistas em profundidade com famílias e observação de crianças se deslocando para a escola Amostra de famílias Pesquisa de famílias

Métodos quantitativos Desenho baseado em método misto multi-nível: avaliando o impacto do programa de alimentação escolar na matrícula de alunos [Apostila 4-3] Unidade de análise Métodos quantitativos Métodos qualitativos Tópicos Distrito escolar Análise de registros de matrícula e frequência para escolas no distrito   Utilizando diferenças em matrícula e frequência para selecionar amostra de escolas Escola Pesquisa com diretores da escola Entevistas em profundidade com amostra de diretores Pareceres sobre como os programas de alimentação afetam a matrícula/frequência e como os programas de alimentação são administrados Classes e professores de classes * Pesquisa de professores * Observação de frequência * Entrevistas em profundidade com professores * Observação do processo de alimentação * Pareceres de como a alimentação afeta a matrícula/frequência * Como a alimentação afeta diferentes grupos socioeconômicos * quem realmente é alimentado (crianças que não frequentam a escola também se alimentam?) * algumas crianças deixam a escola logo que são alimentadas? Alunos *Pesquisa de alunos Grupos focais e entrevistas em profundidade * Pareceres sobre o efeito de programas de alimentação na matrícula e frequência * As atitudes dos pais sobre os programas de alimentação e como eles decidem quem vai para a escola Famílias Pesquisa Entrevistas em profundidade e observação do participante * Opiniões sobre programas de alimentação * Como as famílias decidem quem deve se matricular na escola e quem deve comparecer cada dia

Métodos mistos podem ser usados em qualquer estágio da avaliação. Dimensão 4: Em quais estágios da avaliação os métodos mistos são usados? QUANT QUAL Misto 1. Construção e desenvolvimento das hipóteses da teoria da mudança 2. Desenho da avaliação 3. Seleção da amostra 4. Coleta de dados 5. Análise de dados 6. Disseminação e promoção da utilização das recomendações e achados da avaliação Métodos mistos podem ser usados em qualquer estágio da avaliação. Um desenho com MM completamente integrado combina os métodos QUANT e QUAL em todos os estágios da avaliação