MODELOS DE AVALIAÇÃO Momentos Função Procedência

A AVALIAÇÃO representa uma potente ferramenta de gestão na medida em que pode ser utilizada no planejamento e formulação de uma intervenção, no acompanhamento de sua implementação e conseqüentes ajustes a serem adotados, e até nas decisões sobre sua manutenção, aperfeiçoamento, mudança de rumo ou interrupção. AVALIAÇÃO Os autores Cohen e Franco (2004:73) reforçam essa idéia e, citando Ander-Egg (1984): “se planejar é introduzir organização e racionalidade na ação para a consecução de determinadas metas e objetivos, a avaliação é um modo de verificar essa racionalidade, medindo o cumprimento – ou perspectiva de cumprimento – dos objetivos e metas previamente estabelecidos e a capacidade para alcançá-los.”

AVALIAÇÃO não deve simplesmente distinguir intervenções exitosas ou fracassadas. De acordo com Rua (2003:1) "muito mais importante e proveitoso é apropriar-se da avaliação como um processo de apoio a um aprendizado contínuo, de busca de melhores decisões e de amadurecimento da gestão".

CICLO AVALIATIVO

M o n i t o r a m e n t o d a s A ç õ e s MODELOS DE AVALIAÇÃO : Ciclo Avaliativo Avaliação “on going” M o n i t o r a m e n t o d a s A ç õ e s Avaliação Processo FORMATIVA Avaliação MARCO ZERO Avaliação “ex post” Avaliação Resultado EFEITO Avaliação Resultado IMPACTPO Avaliação “ex-ante”

MARCO ZERO É 1ª ação avaliatória, preliminar, “EX-ANTE”, de contexto - (diagnóstico inicial – olhar crítico e compartilhado que garantirá uma visão comum sobre determinada realidade), deve ocorrer antes de se desencadearem as primeiras atividades do programa ou projeto. Serve para determinar a pertinência, viabilidade e eficácia potencial para a tomada de decisão sobre a possibilidade de se elaborar e pôr em movimento um programa, projeto ou atividade. Deve-se levar em conta a coerência entre as soluções propostas e a realidade que se pretende alterar. Deve orientar o planejamento das ações futuras e servir de parâmetro para as outras fases da avaliação.

PERGUNTAS ORIENTADORAS : Quais são os indicadores do local ( Natalidade, Mortalidade, Escolaridade, Trabalho e Renda, etc) onde se quer atuar? Quais são os indicadores específicos ( Educação – evasão ; Trabalho – falta de qualificação; Renda – exclusão do consumo; Vulnerabilidade – pobreza, DQ, drogas, etc; saúde – DSTs, desnutrição, etc ? Por quais problemas passam hoje? Quem sofre com esses problemas ? Onde vive as pessoas-alvo? ( comunidade, território, região, município, etc ) Qual o quadro geral da situação? MARCO ZERO

ALIAÇÃO DE PROCESSO OU FORMATIVA Após o planejamento, na implementação da ações - “DURANTE” “ON GOING”, compreende além do MONITORAMENTO contínuo das atividades, a reflexão frequente sobre as dinâmicas interna e externa da equipe responsável, isto é, as relações entre os membros da equipe e sua interação com o público-alvo; Fornece informações acerca do andamento da execução com o objetivo de estabelecer até que ponto a proposta inicial está sendo cumprida Não se trata de controle operacional, permite fazer um juízo sobre os pressupostos e decidir sobre o enfrentamento das dificuldades e barreiras encontradas, se os objetivos operacionais devem ser reformulados ou mantidos.

POSSIBILIDADES : Avaliação de cobertura - até que ponto o público beneficiário está sendo atingido (até que ponto conhece o projeto, se há barreiras ou se o projeto é acessível, se é aceito pela população) e até que ponto a área de atuação é coberta. Avaliação da implementação - julga se os instrumentos planejados para a implementação são necessários, suficientes, idôneos (no sentido de ter capacidade de cumprir as metas estabelecidas), potentes e eficazes. Avaliação do ambiente organizacional - se a organização responsável pelo projeto, em seus aspectos internos, favorece ou dificulta seu andamento. Avaliação do rendimento pessoal, onde importa considerar se os indivíduos envolvidos na implementação possuem habilidades e atitudes que favoreçam o desempenho das tarefas, se são capazes de aplicar seus conhecimentos e de sistematizar a própria experiência, assim como de organizar o trabalho e solucionar problemas concretos.

PERGUNTAS ORIENTADORAS : PROCESSO Como todos os participantes estão percebendo o Programa / Projeto? Quais os pontos fortes e fracos das atividades do cotidiano? Como o processo de implementação pode ser aperfeiçoado? Qual a ordem da dificuldade? teórica, metodológica, pessoal, recursos? PROCESSO

PERGUNTA AVALIATIVA INDICADOR ( ES ) Programa Inter Ação Objetivo Ampliar as oportunidades de inclusão social de crianças e adolescentes que vivem em situação de risco na cidade do RJ. 1ª Em que medida o Projeto está conseguindo contribuir para o desenvolvimento físico adequado das crianças e adolescentes atendidos ? Existência de estratégia adequada para acompanhamento periódico da curva de crescimento (peso e altura) ; Percentual de crianças e adolescentes na faixa normal da curva de crescimento; Existência de estratégias adequadas para atendimento especial face a problemas de crescimento e/ou nutrição; Percentual com problemas de crescimento que estão recebendo atendimento especializado. 2ª Em que medida o Projeto contribui para o desenvolvimento cognitivo e de habilidades e competências necessárias para o sucesso das crianças na escola e na vida ? Desenvolvimento do gosto pela leitura, pela escrita e domínio da língua oral; Desenvolvimento de raciocínio lógico e capacidade resolutiva para o cotidiano; Desenvolvimento de regras de conduta, habilidades para trabalhar diferenças, ouvir o outro , trabalhar em grupo e criatividade; Evolução das notas escolares, percentual de aprovação, de matriculados na escola e de evasão escolar.

AVALIAÇÃO SOMATIVA EFEITO Na fase intermediária, ou próxima do final –“EX-POST”, está voltada para os resultados, analisa os benefícios proporcionados aos participantes (público alvo, parceiros, equipe responsável, etc) durante e após a implementação. Requer indicadores definidos, isto é, critérios norteadores do sucesso do projeto. É fundamental que todos que participaram, direta ou indiretamente, sejam ouvidos e que a metodologia utilize parâmetros quantitativos e qualitativos de resultados.

AVALIAÇÃO DE IMPACTO Segundo Marino (1998) “o efeito final ou impacto de um projeto deve ser examinado após tempo decorrido do período de implementação das ações”. Os indicadores de resultados devem ser comparados àqueles iniciais, observados no Marco Zero, pois para se avaliar um projeto ou programa social, deve-se fazer um esforço, desde o planejamento inicial das atividades, para identificar e desenvolver indicadores de resultados do projeto. Segundo Valarelli (1999), “em projetos sociais, indicadores são parâmetros qualificados e/ou quantificados que servem para detalhar em que medida os objetivos de um projeto foram alcançados, dentro de um prazo delimitado de tempo e numa localidade específica”.

PERGUNTAS ORIENTADORAS : Os resultados previamente estabelecidos foram cumpridos? Quais efeitos e possíveis impactos do Programa / projeto tem sobre os envolvidos e sobre a realidade social ? Quais são os indicadores de resultados qualitativos e quantitativos? RESULTADOS

OBJETIVO PERGUNTA AVALIATIVA INDICADOR ( ES ) RESULTADO IMPACTO Avaliar o Resultado e o Impacto do Projeto X. EX: Quais os Efeitos e Impactos do Projeto X implantado em 10 comunidades da Zona Norte da Cidade do RJ para atender jovens evadidos do ensino fundamental, sem atividade laboral e sem qualificação profissional durante o período 1999/2002 ? Conclusão do ensino fundamental; Capacitação para o mundo do trabalho; Empregabilidade; Elevação da renda familiar; Acesso aos bens e à rede de Serviços Locais; Ressignificação das relações afetivo-familiares e comunitárias; Mudança de hábitos e padrões de risco; Outras formas de inclusão e conquistas evidenciadas. Elevação dos índices de escolarização; Elevação dos níveis de renda e maior atividade econômica local; Redução dos índices de mortes por causas externas ( violentas ); Redução dos índices de incidência/reincidência de jovens envolvidos em conflitos com a lei; Participação comunitária; Fortalecimento da rede protetiva local; Implantação de políticas/programas intersetoriais voltados para jovens; Implicações ecológicas; Educação ambiental.

PROCEDÊNCIA DOS AVALIADORES EM FUNÇÃO DE QUEM REALIZA

ENVOLVIDOS NA REALIZAÇÃO PAPEL DO AVALIADOR AVALIAÇÃO SOLICITANTE MOTIVO ATORES ENVOLVIDOS NA REALIZAÇÃO PAPEL DO AVALIADOR MARCO ZERO EX ANTE Própria Equipe Conhecer as necessidades do público alvo e o contexto social onde o Projeto vai atuar. Interno – Staff da própria Equipe do Projeto Aprofundar conhecimento sobre a problemática tratada pelo Projeto. PROCESSO FORMATIVA DURANTE Financiadores Descobrir o que funciona, o que não, e melhorar o processo de implantação. Avalia a influência das condições e processos de trabalho, dos atores envolvidos, dos dispositivos de participação e decisão, dos processos gerenciais, organizacionais e institucionais na produção e execução dos serviços/ações. EX: Os recursos e as atividades estão organizadas de forma a alcançar os objetivos ? São suficientes quali-quantitativamente ? Pessoa ou Equipe do próprio Projeto, contando com eventual ajuda de um especialista. Facilitar o processo e assegurar a melhoria do Projeto RESULTADOS EFEITOS Descobrir se as atividades desenvolvidas ou o projeto como um todo realmente provocou mudanças na vida do público-alvo. EX: Grau e cobertura; eficácia dos resultados; aceitabilidade ; acessibilidade etc. Também, a relação entre recursos empregados e efeitos obtidos . Rendimento. Pessoa ou Equipe do próprio Projeto, contando com eventual ajuda de um especialista. Dependendo da complexidade, um avaliador externo é recomendado. Facilitar a definição de indicadores de resultados junto à Equipe do pp Projeto, interessados e público-alvo.

ATORES ENVOLVIDOS NA REALIZAÇÃO PAPEL DO AVALIADOR AVALIAÇÃO SOLICITANTE MOTIVO ATORES ENVOLVIDOS NA REALIZAÇÃO PAPEL DO AVALIADOR IMPACTO SOMATIVA Própria Equipe Financiadores Agências Governamentais Tomadores de Decisão ( Gestão Estratégica e Tática ) Descobrir sucessos e /ou insucessos do Projeto na realidade em que ele se propôs. EX: Elevação de índices , níveis de renda e atividade econômica local; Redução dos índices / incidência; Participação comunitária, Fortalecimento da Rede protetiva local; implantação de políticas, programas intersetoriais; implicações ecológicas; educação ambiental; etc Avaliador Externo Equipe formada para tal finalidade; Julgar o mérito dos efeitos do Projeto CUSTO BENEFÍCIO SOCIAL ( Especialmente os responsáveis por políticas públicas ) Verificar os indicadores financeiros relacionados ao benefício social do Projeto EX: Análise do custo-benefício expressos em termos monetários e Análise de custo-efetividade : custo expresso em termos monetários e efetividade em indicadores reais de resultado. Avaliador Externo Fazer auditoria dos dados financeiros e relacioná-los com os resultados sociais do Projeto.

AVALIAÇÃO ELEMENTOS

Os Quatro Elementos da Avaliação

Os Quatro Elementos da Avaliação Terra Ar Água Fogo

Natureza: reflexiva e abstrata Elemento: AR Atribuição de Sentido Natureza: reflexiva e abstrata

Atribuição de Sentido : Finalidade e Papel da Avaliação Elemento: AR Atribuição de Sentido : Finalidade e Papel da Avaliação “ POR QUE?”

Investigação da Realidade Elemento: TERRA Investigação da Realidade Natureza : científica, concreta e ferramental

Investigação da Realidade : Métodos e Instrumentos. Elemento: TERRA Investigação da Realidade : Métodos e Instrumentos. “ COMO ?”

Elemento: TERRA Investigação da Realidade (1) Perguntas Avaliativas; (2) Indicadores; (3) Fontes de Informação; (4) Formas de Coleta; (5) Coleta de Informações; (6) Análise; (7) Comunicação dos Resultados.

transparente, lubrificar, cuidar para que estejam “limpos” Elemento: ÁGUA Ética Natureza : transparente, lubrificar, cuidar para que estejam “limpos”

Ética : Condução pautada em Princípios Éticos. Elemento: ÁGUA Ética : Condução pautada em Princípios Éticos. “PARA QUE? “ “PARA QUEM?”

Elemento: ÁGUA Ética nos Processos (a) Respeito aos envolvidos; (b) Clareza das intenções; (c) Justiça no registro das informações - positivas/negativas; (d) Transparência na Comunicação (acesso aos resultados); (e) Responsabilidade Fiscal.

Capacidade Avaliativa: Elemento: FOGO Capacidade Avaliativa: Natureza : multiplicadora, combustível, geradora de conhecimento e práticas.

Elemento: FOGO Capacidade Avaliativa (a) Busca de Identidade entre os Interessados; (b) Transferência de poder - autonomia e emancipação; (c) Motivação pela Aprendizagem; (d) Desenvolvimento de Competên- cias de Investigação e Gestão; (e) Alocação de Recursos.

Capacidade Avaliativa: Dissiminação e Emancipação Elemento: FOGO Capacidade Avaliativa: Dissiminação e Emancipação “EMPOWERMENT”