Avaliação: o que fazemos? Avaliação de resultados, 4ª Oficina temática Avaliação: o que fazemos? Avaliação de resultados, satisfação e impacto

Agenda Manhã Tarde Horário Atividades 8:30 às 9:00 9:00 às 10:00 Boas Vindas e abertura 9:00 às 10:00 Análise coletiva dos resultados dos formulários preenchidos Análise e sugestões sobre indicadores de gestão de pessoas e serviços 10:00 às 10:15 Intervalo 10:15 às 11:15 Análise e sugestões sobre indicadores de gestão de pessoas e serviço: plenária 11:15 às 12:00 Refletindo sobre a avaliação de resultados Manhã Horário Atividades 13:30 às 14:00 Refletindo sobre avaliação de resultados (fechamento) 14:00 às 15:00 Considerações sobre avaliação de resultados, satisfação e impacto 15:00 às 16:00 Definindo o foco da avaliação e os indicadores 16:00 às 16:15 Intervalo 16:15 às 17:30 Partilha em grupos, plenária e fechamento Tarde

A transparência e a avaliação Resultados, satisfação e impacto

O que a palavra avaliação nos lembra ?

A visão tradicional da avaliação (Marino, 2003) Avaliação é imposta de fora para dentro Avaliação como controle Avaliação é tarefa muito complexa, cara e tediosa Os resultados da avaliação poucas vezes são incorporados no planejamento Medo de apresentar o que “não funcionou” Os resultados desse programa não são quantificáveis, por isso não podem ser avaliados

Mas então o que é avaliação? “Coleta sistemática de informações sobre ações, características e os resultados de um programa e a identificação, esclarecimento e aplicação de critérios, passíveis de serem defendidos publicamente, para determinar o valor (mérito e relevância), a qualidade, a utilidade, a efetividade ou importância do programa sendo avaliado” “A avaliação é um instrumento de aprendizado, melhoria de desempenho e prestação de contas aos diversos interessados de um programa” (Worten, Sandres e Fitzpatrick, 1977)

Os princípos da avaliação de programas (AEA, CES e AfrEA) UTILIDADE: reponde aos interessados, tem credibilidade, possui informações relevantes, é clara, gera interesse, é disseminada. VIABILIDADE: de operacionalização, política e de custo PROPRIEDADE: é fruto de um acordo, respeita os indivíduos e as relações, é completa e justa, é responsável PRECISÃO: possui documentação, descreve a metodologia, possui informações válidas e confiáveis, tem sistematização e é imparcial

Quando avaliar? Impacto Efeitos idéias Marco zero Diagnóstico contexto decisões e novas perguntas contexto elaboração da intervenção sistematização avaliação implementação gestão Somativa Resultados Formativa Processo

O que estamos interessados? Tipo de avaliação Pergunta chave Foco Avaliação de satisfação Os projetos/serviços atendem a necessidade dos usuários? Como eles percebem os projetos e serviços? Quais pontos fortes e fracos? Processos Eficiência Avaliação de resultados Os resultados previstos pelos projetos, serviços estão sendo cumpridos e atendem a missão da organização? Resultados Eficácia Avaliação de impacto Os resultados atingidos estão gerando mudança/transformação social? Quais os efeitos produzidos pela ação da organização? Impactos dos projetos/ serviços e da organização

O que é necessário saber Qual a missão da organização (direcionamento). Que necessidades atendemos, o que queremos transformar? Quais são os nossos programas, projetos e serviços? Quais são os seus principais objetivos? Para que foram criados?

Avaliação de satisfação Qual o nível de satisfação dos beneficiários com os serviços e projetos da organização? Quais indicadores são utilizados para medir essa satisfação? Como eles são medidos?

Avaliação de resultados Quais as principais mudanças (quantitativas e qualitativas) provocadas pelos projetos serviços da organização? Quais os indicadores utilizados para medir essas mudanças? Como eles são medidos?

Impacto dos projetos/serviços Avaliação de impacto Impacto dos projetos/serviços Quais os efeitos (no longo prazo) dos projetos e serviços da organização? Que indicadores são utilizados para medir esses efeitos? Como eles são medidos?

Impacto socioambiental da organização Avaliação de impacto Impacto socioambiental da organização Quais os efeitos ambientais das atividades da organização? Insumos consumidos ou economizados (energia, água, materiais) Resíduos produzidos ou reciclados Impactos ambientais Que indicadores são utilizados para medir esses efeitos? Como eles são medidos?