POR UM RUMO NA IMPLEMENTAÇÃO Avaliação da extensão POR UM RUMO NA IMPLEMENTAÇÃO

Conceitos básicos Reconhecer que a extensão parte de um marco político; Reconhecer que extensão se faz mediante programas e projetos; Ao avaliar a extensão estamos diante do dilema: vamos abarcar os mais variados aspectos do projeto ou programa? concepção original e do seu planejamento processo de implementação aferição dos seus efeitos e resultados de curto, médio e longo prazo

Qual o sentido? O objetivo básico de qualquer avaliação é obter informações úteis e críveis sobre o desempenho desses programas, identificando problemas e limitações, potencialidades e alternativas, levantando práticas mais eficientes (“best practices”), e recolhendo lições e subsídios que possam ser retroalimentados no processo de planejamento e formulação de políticas públicas, de modo a aumentar a sua efetividade, eficiência e eficácia.

O que sabemos sobre eficácia? Anos 90-dimensões desejáveis de desempenho das organizações e programas-eficácia, eficiência e efetividade. Eficácia é o grau de atendimento às metas e objetivos estabelecidos. O programa ou projeto produziu algum efeito sobre os seus beneficiários? quais? Não é tarefa fácil...Como cada um percebe? Precisamos de formas para medir o desempenho perante os objetivos e metas almejados.

O que sabemos sobre eficiência? A eficiência de um programa refere-se à otimização dos recursos utilizados, ou seja, o melhor resultado possível com os recursos disponíveis. Quanto o programa fez? O quanto de recursos utilizou? Lembrando, a eficácia corresponde a um resultado de um processo.

O que sabemos sobre efetividade? A efetividade aponta outra dimensão do resultado - os finais, ex-post - , tem a ver com os resultados mais abrangentes da política junto aos setores visados . Neste caso, o tipo de avaliação adequada é a avaliação de impactos, já que procura traduzir os impactos do programa no contexto mais amplo, (econômico, político e social), objetivando a melhoria da qualidade de vida. Lembrando – eficiência fazer uma coisa direito, eficácia, fazer a coisa certa

Ainda no começo levantamento sistemático de dados e sua comparação com padrões predefinidos, ou seja, há de se ter um conjunto de padrões explícitos. O objeto da avaliação, pode ser identificado a partir da lista dos 6 Ps: 1) produto, 2) pessoal, 3) performance ou desempenho, 4) proposta , 5) plano de execução e 6) política.

Projetos? Até que ponto a avaliação da extensão se dá sobre um projeto? Podemos afirmar que o que temos como como proposta representa um esforço planejado e organizado que tem em vista a atenuação ou melhora de condições sociais julgadas insatisfatórias? Como o projeto já existe a avaliação é do tipo “ex-post”. (Avaliação ex-ante , que se realiza antes do investimento e da operação).

Antes que perguntem... O monitoramento se relaciona diretamente com a gestão administrativa e consiste num exame contínuo ou periódico durante a etapa de operação do projeto. Realiza-se com vistas a controlar o cumprimento dos prazos das atividades programadas, assim como a provisão de insumos para determinar se foram recebidos a tempo, em quantidade, qualidade e preço previstos e se os produtos cumpriram com as especificações (em quantidades, qualidade e tempo) em função da programação prevista. Na extensão, isso é possível?Em que âmbito?

Modelos de avaliação e extensão . O modelo baseado em objetivos, quando estes estão claramente definidos e constituem parâmetros explícitos para o trabalho de avaliação; Para efeito de avaliação, são considerados insumos ou entradas: o projeto , a infra-estrutura física e os recursos humanos. O processamento se dá com as ações gerenciais, consideradas do ponto de vista do desempenho dos atores. As saídas são os efeitos e impactos.

Temos um dilema Avaliar a extensão que se faz para o outro ou avaliar a política de extensão dentro dos condicionantes de como a percebemos nas universidades? Ou ambos?

Custos em extensão? ( Não) Análise Custo-Benefício (ACB) : parte de um princípio muito simples que é o de comparar os custos com os benefícios econômicos do projeto. Mas trabalhamos com projetos sociais? ( sim) Análise Custo-Impacto (ACI) comparar custos com a possibilidade de alcançar os objetivos. Em que medida o projeto alcançará ou alcançou seus objetivos, que mudanças produzirão ou produziram na população-objetivo?

Política x projeto Idéia ok rejeita viabilidade Ok desenho

Idéias? Existe um problema?Qual é o problema? Quais são os elementos essenciais do problema? Quem está(ão) afetado(s) pelo problema? Ou seja, qual é a população--objetivo? Qual é a magnitude atual do problema e suas conseqüências? Conta-se com toda a informação relevante acerca do problema para realizar um estudo acabado? Dispõe-se de uma visão clara e definida do meio geográfico, econômico e social do problema? Quais são as principais dificuldades para enfrentar o problema?Que necessidades serão atendidas e, em conseqüência, quais sãos os bens e/ou serviços que constituirão os produtos do projeto? Quanto existe de recursos e em que condições? Onde estará localizado? Quando se vai iniciar o projeto? Em alguns casos há condicionantes temporais que limitam a possibilidade de começar a operação do projeto. Que alternativas são propostas para levá-lo a cabo?

Viável? Localização e escala Diagnóstico( LINHA DE BASE: descreve e explica- linha causal) Custos estimados para a vida do projeto Análise tecnológica Condições organizacionais

desenho Descrição das atividades e sub atividades Os recursos humanos necessários (docente, discente, profissionais, consultores, etc) Designação das responsabilidades. Descrição detalhada da distribuição do orçamento. Cronograma Recadinho AVALIAÇÃO EX-ANTE? REALIZAR A ANÁLISE DE IMPACTO DE CADA ALTERNATIVA CALCULAR A RELAÇÃO CUSTO/IMPACTO PROGRAMAÇÃO E AVALIAÇÃO EX-POST CONSTRUIR A MATRIZ DE PROGRAMAÇÃO REALIZAR O PLANO DE OPERAÇÃO REALIZAR A AVALIAÇÃO EX-POST

Antes que perguntem... Os indicadores definem o sentido e o alcance de um projeto (avaliação ex-ante) e medem o logro dos objetivos em cada uma de suas etapas (avaliação ex-post). Tem-se que definir indicadores para cada um dos objetivos de impacto e de produto. EX: Obj. Impacto: Elevar a qualidade da educação municipal em Duque de Caxias à média nacional. Indicadores de impacto- se vários estabelecer peso e meios de verificação Objetivos de produto Produto Uso de técnicas de aprendizado ativo -participativas. Indicador de produto e meios de verificação - Quantidade de alunos educados com esta técnica - pesquisa de campo Resultados do Ideb 50% Estatística oficial Taxa de repetência 30% Taxa de abandono escolar 20%

Antes que pergunte... As metas são estimativas a respeito do impacto que produz cada alternativa e a quantidade de cada produto que entrega. As metas se definem em termos de quantidade, qualidade e tempo para cada objetivo. Metas de impacto Que variável ou fenômeno se modifica? Em que sentido se modifica a variável? Quanto se modifica essa variável? EX: Diminuir a taxa de desnutrição dos tipos I e II em 50% em 2 anos. - Diminuir em 20% a taxa de mortalidade infantil em 4 anos. - Aumentar em 12% anual o número de jovens de 18-24 anos que entram ao mercado de trabalho formal. Diminuir os casos de malária em 80% em 3 anos.

Antes que perguntem . Metas de produto Que produto ou serviço entrega? Quantos produtos ou serviços entregam? Quem se beneficia com o produto? Entregar 800 rações alimentícias ao mês. Aumentar em 25% a quantidade diária de atendimentos de saúde nos consultórios. Capacitar a 500 jovens em 1 ano. Eliminar 50 os focos de mosquitos em 3 anos.

Uma tabela de análise sempre ajuda Objetivo geral:Melhorar as condições de vida da população-objetivo, considerando a malária que a afeta. Objetivos de impacto Metas Indicadores Fontes de verificação Diminuir a malaria a níveis controláveis Diminuir a taxa de malaria em 84% dos habitantes Incidência anual de casos na região de XX Registro do MS Objetivos de produto Eliminação de focos de mosquito Eliminar 60 focos Quantidade de focos eliminados Inspeção em terreno e registro

Mas, nossos objetivos são de outra ordem. Metas indicadores Fontes de verificação Analisar as alternativas da indissociabilidade ens, pesq e ext. Alcançar pelo menos duas boas práticas de indissociabilidade Incidência de projetos elaborados sob a perspectiva de vivenciar a indissociabilidade Pesquisa sobre relatos de experiência na Mostra de extensão Desenvolver atividades pedagógicas de intercâmbio de conhecimentos entre a universidade e a população externa Aumentar em 40 % a presença da população não alunos nos eventos da universidade Incidência de participantes não alunos em eventos acadêmico-cientificos e culturais Listagem de participantes

Questões de avaliação ex-post Os recursos disponíveis foram usados de forma eficiente para bens e serviços? Esses bens e serviços foram eficazes para alcançar os objetivos? Qual o(s) resultado(s)? Quais as evidências de resultados? Quais as condições que asseguram o resultado?

Questões para a extensão Quais as ações que foram elaboradas, cooperativamente com a comunidade?( levantamentos, pesquisas de campo, diagnósticos, projetos e encaminhamento de soluções de problemas). Quais foram as vivências de práticas profissionais realizadas de forma cooperativa e multidisciplinar em situações concretas de demandas da população? Quantos foram projetos de apoio e assessoramento comunitários desenvolvidos? Quantos projetos foram desenvolvidos ligados as atividades artísticas ou de resgate da memória cultural em comunidades?

Dicas Formar grupos nas universidades para elaborarem programas e projetos. Árvore de problemas( técnica) Os passos a seguir são: 1. Formular um Problema Central: 2. Identificar os EFEITOS verificando a importância do problema; 3. Analisar as inter-relações dos efeitos; 4. Identificar as CAUSAS do problema e suas inter-relações; 5. Diagramar a Árvore de Problemas e verificar a estrutura causal. É importante lembrar que os elementos incluídos na Árvore de Problemas devem estar apresentados nas seguintes condições: Só um problema por ficha, Problemas existentes (não possíveis, fictícios ou futuros), Como uma situação negativa,e Devem ser claros e compreensíveis. O projeto deve concentrar-se nas raízes (causas). A idéia é que se se resolvem os problemas ou causas, se eliminam os efeitos negativos que estes produzem.

Olhar interno e olhar externo. Dicas Avaliação de programas e projetos de extensão está em processo de construção...portanto, não desanime comece. As questões da avaliação da extensão devem estar presentes na avaliação da formulação de projetos extensionistas num modelo híbrido: Olhar interno e olhar externo.

Podemos mais Podemos reler os relatórios dos projetos: Se há periodicidade na avaliação com os dados são apurados é possível construir a formação de base histórica para apoiar análises . Podemos apoiar a geração de mapas, gráficos, tabelas. Podemos reler os relatórios dos projetos: Indicadores de avaliação em atividades já realizadas Tangíveis Quantidade e qualidade de atividades planejadas e realizadas Numero de participantes nas atividades/perfil do participante Satisfação com a qualidade do produto/serviço Recursos previstos e efetivamente utilizados Indicadores intangíveis Resultados Mudanças na capacidade, atitudes, conhecimentos, intenções e comportamentos   Mudanças nas condições sociais, nos processos, nas práticas sociais ,relacionamentos e políticas