AVALIAÇÃO Suely F. Deslandes IFF-FIOCRUZ. O que é Avaliação ? Avaliação, enquanto estratégia investigativa, é um processo sistemático de fazer perguntas.

Apresentação em tema: "AVALIAÇÃO Suely F. Deslandes IFF-FIOCRUZ. O que é Avaliação ? Avaliação, enquanto estratégia investigativa, é um processo sistemático de fazer perguntas."— Transcrição da apresentação:

1 AVALIAÇÃO Suely F. Deslandes IFF-FIOCRUZ

2 O que é Avaliação ? Avaliação, enquanto estratégia investigativa, é um processo sistemático de fazer perguntas sobre o mérito e a relevância de determinado assunto, proposta ou programa.

3 Dimensões da avaliação (Penna Firme, 2003) – Utilidade – Viabilidade – Ética – Precisão da técnica

4 Historicidade das Abordagens de avaliação (Guba & Licoln, 1989) 1900-1930 Primeira Geração – Mensuração (inicia-se com o desempenho de escolares, produtividade) 1930-1950 Segunda Geração – Nasce a avaliação de programas – Descrever como o programa atinge (ou não) seus resultados 1950-1980 Terceira Geração – Mensurar, descrever, mas a finalidade é julgar o mérito do programa 1980 -.... Quarta Geração – Negociar parâmetros de avaliação com os envolvidos (stakeholders) /Avaliações participativas 2000- (??) avaliações por triangulações de métodos

5 Definições e sua historicidade É a atividade que consiste em fazer julgamento sobre uma intervenção, comparando os recursos empregados e sua organização (estrutura), os serviços e os bens produzidos (processo) e os resultados obtidos, com critérios e normas (Contandriopoulos et al, 1997, 37).

6 A avaliação é uma forma de pesquisa social aplicada(*), sistemática, planejada e dirigida; destinada a identificar, obter e proporcionar de maneira válida e confiável dados e informação suficiente e relevante para apoiar um juízo sobre o mérito e o valor dos diferentes componentes de um programa ou de um conjunto de atividades específicas que se realizam, foram realizadas ou se realizarão, (…)comprovando a extensão e o grau em que se deram essas conquistas, de forma tal que sirva de base ou guia para a tomada de decisões (Aguilar & Ander-Egg, 1994) (*) Há diferenças entre pesquisa e avaliação

7 Entendemos avaliação como a elaboração, a negociação, a aplicação de critérios explícitos de análise, em um exercício metodológico cuidadoso e preciso, com vistas a conhecer, medir, determinar e julgar o contexto, o mérito, o valor ou o estado de um determinado objeto, a fim de estimular e facilitar processos de aprendizagem e de desenvolvimento de pessoas e organizações(Silva e Brandão, 2003)

8 uma boa avaliação visa a reduzir incertezas, a melhorar a efetividade das ações e a propiciar a tomada de decisões relevantes, guia-se por quatro objetivos: oferecer respostas aos beneficiários, à sociedade e ao governo sobre o emprego dos recursos públicos; orientar os investidores sobre os frutos de sua aplicação; responder aos interesses das instituições, de seus gestores e de seus técnicos; buscar sempre uma melhor adequação de suas atividades.

9 Uma avaliação poderá levar em conta: a adequação entre os objetivos e estratégias propostas e recursos utilizados ; a adequação da estrutura organizacional para realizar o trabalho proposto; o quanto e como os objetivos e metas foram atingidos; a qualidade dos serviços prestados e dos resultados; a sustentabilidade da ação ou projeto.

10 TIPOLOGIAS DE AVALIAÇÃO TIPOLOGIAS DE AVALIAÇÃO Quanto à metodologia: Avaliação qualitativa (não de qualidade) Avaliação quantitativa – contribui para estabelecer as relações causais entre as variáveis independentes (intervenção, exposição) e dependentes (resposta ou de desfecho). Avaliações por triangulação de métodos

11 Metodologias Qualitativas Objeto de estudo de pesquisa qualitativa = ação social e os significados atribuídos pelos seus agentes (instituições, grupos, indivíduos, movimentos sociais). Propósito comum em analisar o significado atribuído pelos sujeitos aos fatos, relações e práticas, isto é, interpretando tanto as interpretações quanto as práticas dos sujeitos.

12 Pressuposto: – relação dinâmica entre mundo objetivo e (inter) subjetivo. Concepções, valores, crenças que são referências naquela cultura estarão presentes na tomada de decisões, nas ações concretas dos sujeitos.

13 Abordagens qualitativas de avaliação Condições e Interações Sociais Vivências Culturais Atribuição de Significados BASE PARA AÇÃO

14 Avaliação qualitativa Estará sempre presente quando o avaliador desejar compreender quais os significados que os sujeitos atribuem a qualquer uma das dimensões do programa (definição da demanda, objetivos, estratégias, metas, resultados, sustentabilidade etc) ou como se dá, na prática e no cotidiano, a interface entre a realização das ações do programa e os discursos/concepções sobre estas ações

15 Usos correntes da avaliação qualitativa (Patton, 1987) Descrições detalhadas das demandas/expectativas/o bstáculos para a implementação do programa Análise de processos Descrição dos diferentes tipos e participação e seus papéis Análise de como o programa afeta seus participantes Análise dos efeitos, impactos e mudanças observadas (ou sua ausência) Análise das fraquezas e dos facilitadores do programa

16 Usos correntes da avaliação qualitativa Expectativas dos sujeitos Determinado serviço se coadunaria ou não aos valores culturais e expectativas dos vários atores sociais envolvidos, assim como às suas realidades sócio-econômicas ? (Atkinson, 1993).

17 Usos correntes da avaliação qualitativa A dinâmicas das relações- Análise de processos A realização de qualquer programa ou serviço é um processo que possui movimento, uma dinâmica própria. Envolve a ação de atores distintos que se aliam e se contrapõem. A avaliação qualitativa, portanto, também busca compreender antagonismos e consensos que acontecem no cotidiano da execução dos programas/serviços e que podem ser elementos favoráveis ou obstáculos a sua realização.

18 Análise de como o programa afeta a identidade de seus participantes Os programas envolvem de forma mais ou menos direta a vida e a auto-imagem de seus participantes. Não raro a participação como agente ou usuário de determinado programa pode significar uma considerável mudança de status daquela pessoa diante de seus familiares e comunidade (seja de forma positiva ou negativa).

19 Análise dos efeitos, impactos e mudanças observadas (ou sua ausência) A avaliação de programas sociais envolve sempre a perspectiva de mudança de uma situação, comportamentos ou problemas. Incluir no rol da análise as interpretações dos sujeitos sobre as mudanças percebidas, confrontando com aquelas inicialmente esperadas pelo programa é item indispensável à avaliação qualitativa.

20 Análise das fraquezas e dos facilitadores do programa Toda boa avaliação desencadeia um processo interno de discussão, de debate sobre os obstáculos encontrados;. O quanto cada fator, cada ator e conjuntura (política, administrativa etc) colaboraram para o projeto atingir (ou não) seus propósitos? Há, nesse processo, um ganho de reflexão crítica.

21 Análise das fraquezas e dos facilitadores do programa Sujeitos - balanço crítico- sugestões para melhor realizar as ações. Estas interpretações devem sofrer as críticas dos avaliadores e o confronto do que se tem como consenso do que seja uma boa prática. Aprender com as lições, com os acertos e erros, com a criatividade dos envolvidos - patrimônio precioso para todos os que atuam nos programas.

22 Avaliação como campo polissêmico (apud Novaes, 2000; Patton, 2004) Classificações podem variar quanto: – Objetivos da avaliação – Posição do avaliador – Período Diagnóstico Levantamento de demandas Monitoramento Tomada de decisões Interno/Externo Negociador/ Técnico Compactua critérios/ determina critérios Implantação Implementação Resultados

23 Quanto ao momento da realização avaliação em relação à existência da ação avaliada Ex-ante Ex-post

24 (a) análise diagnóstica situacional inicial; (b) uma avaliação da implantação e da implementação (c) a preciação dos resultados, valorizando também o processo e as tendências, entendendo que os efeitos das intervenções sociais não findam quando ela cessa.

25 A avaliação da implantação observa todos os passos necessários à efetivação da intervenção. Visa (1) verificar a extensão do alcance do programa para a população alvo; (2) monitorar a dose do programa, ou seja, a freqüência da sua aplicação e a participação dos sujeitos envolvidos nas atividades previstas; (3) avaliar a variabilidade do contexto organizacional ou situacional na qual o programa se implementa; (4) correlacionar a extensão na qual os programas são implementados e as metas propostas e (5) mensurar o seu custo de implementação (McGraw et al, 1989 apud Minayo, 2006).

26 O estudo sobre a implementação de um programa, realizado in loco, visa (1) à análise da extensão com que ele alcança a população-alvo; (2) a freqüência e a intensidade de aplicação da proposta e a participação dos sujeitos envolvidos; (3) as questões organizacionais e administrativas; (4) a viabilidade e variabilidade das metas propostas e (5) a formação da equipe de intervenção nos diferentes níveis.

27 A avaliação de resultados visa a dimensionar, qualitativa e quantitativamente, as diferenças entre o momento inicial e as metas/objetivos atingidos ao final de uma intervenção

28 TRIANGULAÇÃO de MÉTODOS EM AVALIAÇÃO

29 Triangulação de abordagens Campos disciplinares Racionalidades científicas Metodologias Técnicas Pesquisadores

30 Triangulação é um termo que significa: a combinação e o cruzamento de múltiplos pontos de vista; a tarefa conjunta de pesquisadores com formação diferenciada; a visão de vários informantes o emprego de uma variedade de técnicas de coleta de dados que acompanha o trabalho de investigação

31 Condições Primeiro é a existência de uma equipe formada por profissionais de várias áreas que desejem trabalhar de forma solidária A segunda condição é a competência disciplinar de cada componente do grupo.

32 Quanti-Quali a compreensão/explicação em profundidade a explicação em extensão

33 princípios para a análise Causalidade complexa, que se opõe à visão de linearidade entre causa-efeito. Destacam-se: as relações em uma visão hologramática no sentido de que o todo contém as partes, a parte contém o todo, mas parte e todo têm características e propriedades específicas; a inseparabilidade da ordem e da desordem em qualquer projeto, proposta ou organização; a irredutibilidade do acaso, da incerteza e do inacabado em todos os fenômenos sociais.

34 Etapas da avaliação (1) Formulação do objeto e do planejamento da avaliação (2) Elaboração de indicadores (3) Escolha das fontes de informação (4) Construção dos instrumentos (5)Trabalho de campo (6)Análise (7) Elaboração do informe – relatório (8)Devolução e debate dos dados

35 INDICADORES Os indicadores, como o próprio nome designa, são somente uma indicação sobre determinada situação, ou reflexo dessa situação, e são usados para medir alterações, efeitos e resultados de uma situação social ou projeto específico (OMS, 1980). Os indicadores ideais são aqueles considerados válidos, objetivos, sensíveis e específicos. Contudo, na prática, poucos indicadores preenchem todos esses quesitos. Não podemos esquecer que são medidas indiretas ou parciais de uma situação complexa e não explicam inteiramente a realidade (OMS, 1980). Funcionam como guias, pistas fundamentais para avaliar alterações, direções, efeitos e resultados dos projetos.

36 Transformar os objetivos em itens capazes de mensurar/expressar as mudanças devidas a uma intervenção social.

37 Indicadores quantitativos Indicadores qualitativos Indicadores

38 Indicador quantitativo Exemplo: COBERTURA Indicador1 : Proporção de indivíduos da população-alvo captada pelo projeto PIPACP = NIPACP/ TIPA Onde: PIPACP = proporção de indivíduos da população alvo, captada pelo projeto NIPACP = número de indivíduos da população alvo captados pelo projeto TIPA = total de indivíduos da população alvo Definição: número de indivíduos da população alvo captados pelo projeto, expresso como percentual do total de indivíduos da população alvo do projeto. Obs: considera-se indivíduo captado pelo projeto aquele que participou de 3 atividades educativas Propósito: este indicador visa saber a proporção de indivíduos da população alvo captada pelo projeto

39 Indicador qualitativo Exemplos: Ganho de capacidade de argumentação para o reconhecimento de direitos Atitudes em relação a determinada questão Articulação comunicacional Ampliação e conectividade da rede de suporte social

40 Por que investir em avaliação? ganho de legitimidade pública e institucional. ganho de competência técnica e gerencial. ganho de reflexão crítica. possibilita o compartilhamento de saberes e experiências. maior competitividade na busca de recursos cada vez mais limitados de financiamento

41 Se quem planeja governa melhor, quem avalia aumenta sua governabilidade

42 fim desland@iff.fiocruz.br