A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Avaliações baseadas em Métodos Mistos: Oportunidades e Desafios

Apresentações semelhantes


Apresentação em tema: "Avaliações baseadas em Métodos Mistos: Oportunidades e Desafios"— Transcrição da apresentação:

1 Avaliações baseadas em Métodos Mistos: Oportunidades e Desafios
IV Seminário Nacional da Rede Brasileira de Monitoramento e Avaliação Rio de Janeiro, Agosto Avaliações baseadas em Métodos Mistos: Oportunidades e Desafios SESSÃO 8 GERENCIANDO AVALIAÇÕES BASEADAS EM MÉTODOS MISTOS MICHAEL BAMBERGER E THOMAZ CHIANCA

2 Resumo da Sessão Avaliações baseadas em métodos mistos requerem uma abordagem especial no seu gerenciamento Composição da equipe de pesquisa Gerenciando as abordagens de métodos mistos durante o desenho da avaliação Assegurando o uso de métodos mistos durante a coleta de dados Gerenciando a análise de dados Promovendo a disseminação e uso dos achados e recomendações Desafios especiais

3 2. Composição da equipe de avaliação
A equipe de pesquisa frequentemente irá requerer pesquisadores principais de duas ou mais disciplinas diferentes É importante selecionar as pessoas certas, particularmente em áreas de especialização onde a agência tem experiência limitada Tempo adicional pode ser exigido para formação da equipe e para permitir que os membros da equipe se familiarizem com as abordagens das diferentes disciplinas Há risco de que membros de novas disciplinas sejam marginalizados ou tratados com alguma reserva O gerente tem um papel importante em construir respeito e compreensão

4 3. Cuidados durante o desenho da avaliação
Suporte gerencial pode ser necessário para assegurar que o desenho da avaliação inclua todas as disciplinas envolvidas Questões de pesquisa devem ser elaboradas considerando todas as disciplinas Este é um desafio especial para organizações que têm tradicionalmente uma forte orientação QUANT ou QUAL Ex: Diferentes disciplinas tem diferentes posturas em relação a usar ou não “teorias de mudança” (TOC). Se a avaliação for baseada em uma TOC, isto frequentemente exigirá suporte gerencial para assegurar que todos os membros da equipe entendam, e estejam de acordo com a abordagem.

5 4. Cuidados na coleta de dados
A decisão de utilizar coleta de dados sequencial ou paralela é tanto técnica quanto gerencial Coleta de dados paralela pode economizar tempo e dinheiro, mas é logisticamente mais difícil e exige gerenciamento mais eficiente Coleta de dados sequencial pode ser mais fácil de gerenciar e pode funcionar melhor com equipes inexperientes em abordagens MM Gerenciamento eficiente é requerido para assegurar coordenação tranquila entre diferentes equipes de coleta de dados e para evitar conflitos desnecessários. Todas essas questões podem ser particularmente desafiadoras em áreas rurais ou onde há problemas com segurança, uma vez que a logística que deve ser coordenada de forma muito eficiente.

6 5. Cuidados na análise de dados
Avaliações QUANT e QUAL têm diferentes abordagens para análise de dados Análise de dados QUAL é realizada em paralelo com a coleta de dados Análises QUANT geralmente não começam até que todos os dados sejam coletados Análises de dados preliminares QUANT e QUAL alimentam os próximos estágios da coleta de dados e o feedback deve ser gerenciado de forma eficiente para evitar atrasos Um plano de análise de dados deve ser desenvolvido já durante as primeiras etapas da avaliação

7 [Gerenciando análise de dados continuação]
Triangulação é um elemento chave de MM e os gerentes da avaliação devem assegurar que estes procedimentos sejam incorporados como uma parte importante em toda a análise e coleta de dados Isto não é geralmente feito, portanto atenção é requerida. Procedimentos de controle de qualidade são críticos Isto é mais desafiador conforme os diferentes procedimentos de controle de qualidade são exigidos para os dados QUANT e QUAL O uso de uma lista de verificação integrada relativa a riscos à validade é recomendada

8 6. Cuidados na disseminação e uso dos achados
Relatórios de avaliação baseadas em MM muitas vezes focam uma gama mais ampla de atores Isso pode exigir novos métodos de disseminação Pode ser mais difícil distribuir relatórios para as ONGs e sociedade civil do que apenas para doadores e agências governamentais (ou vice-versa) Pode ser necessário negociar com o governo a disseminação do relatório para públicos externos Em alguns países isto pode ser muito sensitivo Necessidade de traduzir relatórios para idiomas locais

9 [Cuidados na disseminação e uso de achados, continuação]
O relatório narrativo deve ser estruturado a partir da resposta direta às perguntas avaliativas, e pode também usar a “teoria da mudança” como base Para alguns públicos, métodos menos convencionais podem ser exigidos: Encontros informais Vídeos Apresentações para atores-chaves em comunidades locais ou com participação de representantes das comunidades Utilização de métodos como arte, teatro e dança Um plano de acompanhamento deve ser desenvolvido e monitorado O plano deve ser focado em estratégias específicas para fazer uso dos achados da avaliação

10 7. Desafios especiais para gerenciar métodos mistos
Gerenciar equipes multidisciplinares Justificar tempo adicional e recursos exigidos (convencer lideranças e produzir evidências convincentes do valor agregado dos MM) Abordagens MM são mais complexas e exigem gerenciamento mais eficiente Necessidade de assegurar que as equipes sigam a abordagem MM de forma completa Muitas propostas de avaliação se referem ao uso de triangulação, mas não a usa sistematicamente


Carregar ppt "Avaliações baseadas em Métodos Mistos: Oportunidades e Desafios"

Apresentações semelhantes


Anúncios Google