FORTALECENDO A INSTITUCIONALIZAÇÃO E OS CONCEITOS DE MONITORAMENTO E AVALIAÇÃO NO BRASIL: uma agenda para todos Profa. Dra. Maria Ozanira da Silva e Silva maria.ozanira@gmail.com II Seminário da Rede Brasileira de Monitoramento e Avaliação Fortaleza, junho, 2010

SUMÁRIO CONSTRUINDO UMA CONCEPÇÃO DA PESQUISA AVALIATIVA FUNÇÕES DA AVALIAÇÃO TIPOS DE AVALIAÇÃO CONFORME O OBJETO DA AVALIAÇÃO

CONSTRUINDO UMA CONCEPÇÃO DA PESQUISA AVALIATIVA Pressuposto: as políticas e programas sociais geram impactos: mudanças - alteram condições de vida. É um movimento do processo das Políticas Públicas; Não é um ato neutro nem exterior às relações de poder, portanto é ato técnico, mas também político e não é desinteressado; Exige objetividade e independência;

CONSTRUINDO UMA CONCEPÇÃO DA PESQUISA AVALIATIVA Valoriza a análise crítica da Política ou Programa avaliado; Fundamenta-se em valores e no conhecimento da realidade; Busca os princípios e fundamentos teórico-conceituais da Política ou Programa; Considera os sujeitos e interesses envolvidos no processo;

CONSTRUINDO UMA CONCEPÇÃO DA PESQUISA AVALIATIVA Fundamenta-se em valores e concepções sobre a realidade social partilhados pelos sujeitos da avaliação; Contrapõe-se à idéia de neutralidade, não percorre um único caminho e os resultados são uma versão parcial; Considera a Política ou Programa como decorrência de vários fatores: ação de vários sujeitos, especificidades das conjunturas, condições financeiras e materiais e elementos culturais;

CONSTRUINDO UMA CONCEPÇÃO DA PESQUISA AVALIATIVA Situa a Política ou Programa na sua relação com o Estado e a Sociedade: toda avaliação é desenvolvida num contexto de sujeitos e interesses; nunca é consensual ou definitiva; é uma versão, um julgamento sobre o real. As dimensões técnica e política devem ser vistas como complementares: toda avaliação é um ato político, mas também técnico. Essa concepção de pesquisa avaliativa atribui uma dimensão participativa ao conteúdo metodológico da pesquisa avaliativa.

FUNÇÕES DA AVALIAÇÃO Função Técnica: a) fornecer subsídios para correção de desvios no decorrer do processo de implementação; b) indicar em que medida objetivos e mudanças ocorreram; c) subsidiar a elaboração ou redimensionamento de Políticas e Programas; Função Política: oferecer informações para sujeitos sociais fundamentarem lutas sociais no campo das Políticas Públicas (controle social); Função Acadêmica: desvelar as determinações e contradições presentes no processo das Políticas Públicas, evidenciando os significados mais profundos dessas Políticas (sua essência), para a construção do conhecimento.

TIPOS DA AVALIAÇÃO CONFORME SEU OBJETO MONITORAMENTO: seguimento, acompanhamento; É uma tarefa de gestão e controle, com função corretiva imediata e não implica em julgamento. Foco: funcionamento do programa. AVALIAÇÃO POLÍTICA DA POLÍTICA: julgamento do programa em si: a) Formulação ou planejamento do programa, considerando duas dimensões:

TIPOS DA AVALIAÇÃO CONFORME SEU OBJETO O mérito do programa: fundamentos de ordem política, econômica e sócio-cultural que determinaram o processo de formulação ou de elaboração do programa; Os princípios de justiça norteadores (caráter mantenedor, distributivo e redistributivo). b)Desenho ou engenharia do programa: avalia a adequação dos mecanismos institucionais e dos recursos para enfrentamento do problema: - Consistência e estruturação do programa em relação aos objetivos propostos;

TIPOS DA AVALIAÇÃO CONFORME SEU OBJETO - Diagnóstico da realidade; - Pertinência e coerência interna dos componentes do programa; - Sujeitos (participação e contribuição); - Prioridades; - critérios de elegibilidade e cobertura;

TIPOS DA AVALIAÇÃO CONFORME SEU OBJETO - Impactos potenciais (relação com a dimensão do problema); - estratégias de divulgação; - Articulação com outros programas (parcerias); - Modelos de gestão e avaliação propostos; - Financiamento (montante, fonte).

TIPOS DA AVALIAÇÃO CONFORME SEU OBJETO AVALIAÇÃO DE PROCESSO: controle antecipado do tamanho e qualidade do efeito desejado, visando garantir a eficácia e a eficiência do programa. Foco: funcionamento do programa e serviços prestados. Dimensões

TIPOS DA AVALIAÇÃO CONFORME SEU OBJETO Dimensões: - Cobertura do programa (população-alvo e área); - Implementação do programa; - Ambiente organizacional; - Rendimento do pessoal; - Relação entre o desenho ou formulação do programa e os formatos adquiridos ao final do processo de sua implementação;

TIPOS DA AVALIAÇÃO CONFORME SEU OBJETO Dimensão temporal do processo e seus efeitos: aprendizagem organizacional, sujeitos que implementam o programa (resistência/adesão); modificações nas condições iniciais produzidas pelo processo de implementação); - Condições que facilitam e entravam o processo de implementação.

TIPOS DA AVALIAÇÃO CONFORME SEU OBJETO AVALIAÇÃO DE IMPACTO: avalia mudanças qualitativas e quantitativas duradouras decorrentes do programa sobre as condições de vida de uma população, preocupando-se com: eficácia e efetividade; Pressuposto Considera o antes e o depois da implementação do programa e demanda controle de variáveis contextuais; Requer objetivos claros e critérios de aferição de sucesso;

TIPOS DA AVALIAÇÃO CONFORME SEU OBJETO AVALIAÇÃO COMPREENSIVA: combina avaliação de processo e de impacto. Mais que avaliar a relação meta proposta-meta alcançada, procura entender os efeitos produzidos pela implementação do programa.