Avaliação para prestação de contas transparente: Uma questão importante que não pode continuar sendo evitada Thomas D Cook Northwestern University Rio.

Apresentação em tema: "Avaliação para prestação de contas transparente: Uma questão importante que não pode continuar sendo evitada Thomas D Cook Northwestern University Rio."— Transcrição da apresentação:

1 Avaliação para prestação de contas transparente: Uma questão importante que não pode continuar sendo evitada Thomas D Cook Northwestern University Rio de Janeiro, agosto de 2014

2 A Prestação de Contas das Fundações Deixando de lado a responsabilidade fiscal, o objetivo das fundações é: (1) Melhorar a vida dos participantes dos programas, (2) Demonstrar que tais melhorias ocorreram ou não devido aos esforços individuais dos programas, e (3) Usar métodos de avaliação sobre os impactos do programa que “adotem padrões que sejam transparentes e defensáveis”. A avaliação pode contribuir também para outras tarefas das fundações, porém esta é a sua função de prestação de contas

3 O que são padrões “transparentes e defensáveis”? Assunto de grandes debates nos Estados Unidos e em países do Noroeste europeu. Não há consenso estabelecido por toda a sociedade, PORÉM No setor público e em muitos foros de avaliação, a batalha está sendo lentamente vencida pelos mais altos padrões da ciência – o emprego de experimentos com distribuição aleatória. É o único método permitido em algumas classificações de práticas efetivas e tem um alto peso em outras. Mas algumas agências e escritórios dentro de agências silenciosamente lutam nesse mar de areia, alegando que os seus programas não se prestam à distribuição aleatória.

4 E nas fundações do setor privado? Algumas (mas nem todas) fundações menores refletem a preferência científica e governamental por experimentos com distribuição aleatória Fundações maiores fazem experimentos se puderem, mas não os colocam em um pedestal para avaliar impacto, PORÉM Os seus padrões de avaliação de impacto têm, ainda assim, mudado devido ao debate sobre padrões e o papel da distribuição aleatória.

5 Maior sensibilidade atualmente para: Impossibilidade de evitar a Avaliação de Impacto e de usar desenhos de avaliação fracos para evitar a verdadeira prestação de contas Necessidade de uma Política de Avaliação que inclua uma posição sobre experimentos, ainda que a política de avaliação escolhida seja eclética quanto ao método de escolha para a prestação de contas Maior percepção da inadequação para a avaliação de impacto de: (a) estudos de caso baseados em pareceres de especialistas, visitas de campo, entrevistas e testemunhos; (b) levantamentos onde pessoas fazem relatos sobre os impactos; (c) desenhos quantitativos simples baseados em mudanças entre pré-teste e pós-teste, sem grupos de comparação ou baseados em comparações entre grupos muito diferentes; e (d) estudos de modelagem quantitativa complexa, que exigem muitas premissas não testadas

6 Limitações nas opções alternativas aos experimentos, que são baseadas no desenho do estudo, tais como: séries temporais interrompidas, regressão descontínua, desenhos pareados. Governos e jornalistas dão mais crédito a depoimento sobre impactos por parte das fundações quando baseadas em estudos com distribuição aleatória. Se você quiser publicidade, faça experimentos. Podem as fundações continuarem a ignorar os movimentos sociais que colocam os experimentos a frente de suas alternativas? É muito mais do que apenas uma questão técnica. Nestes novos tempos, você quer desenvolver uma política sobre como fazer avaliações de impacto sérias? Maior sensibilidade atualmente para: