A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

AVALIAÇÃO Suely F. Deslandes IFF-FIOCRUZ. O que é Avaliação ? Avaliação, enquanto estratégia investigativa, é um processo sistemático de fazer perguntas.

Apresentações semelhantes


Apresentação em tema: "AVALIAÇÃO Suely F. Deslandes IFF-FIOCRUZ. O que é Avaliação ? Avaliação, enquanto estratégia investigativa, é um processo sistemático de fazer perguntas."— Transcrição da apresentação:

1 AVALIAÇÃO Suely F. Deslandes IFF-FIOCRUZ

2 O que é Avaliação ? Avaliação, enquanto estratégia investigativa, é um processo sistemático de fazer perguntas sobre o mérito e a relevância de determinado assunto, proposta ou programa.

3 Dimensões da avaliação (Penna Firme, 2003) – Utilidade – Viabilidade – Ética – Precisão da técnica

4 Historicidade das Abordagens de avaliação (Guba & Licoln, 1989) Primeira Geração – Mensuração (inicia-se com o desempenho de escolares, produtividade) Segunda Geração – Nasce a avaliação de programas – Descrever como o programa atinge (ou não) seus resultados Terceira Geração – Mensurar, descrever, mas a finalidade é julgar o mérito do programa Quarta Geração – Negociar parâmetros de avaliação com os envolvidos (stakeholders) /Avaliações participativas (??) avaliações por triangulações de métodos

5 Definições e sua historicidade É a atividade que consiste em fazer julgamento sobre uma intervenção, comparando os recursos empregados e sua organização (estrutura), os serviços e os bens produzidos (processo) e os resultados obtidos, com critérios e normas (Contandriopoulos et al, 1997, 37).

6 A avaliação é uma forma de pesquisa social aplicada(*), sistemática, planejada e dirigida; destinada a identificar, obter e proporcionar de maneira válida e confiável dados e informação suficiente e relevante para apoiar um juízo sobre o mérito e o valor dos diferentes componentes de um programa ou de um conjunto de atividades específicas que se realizam, foram realizadas ou se realizarão, (…)comprovando a extensão e o grau em que se deram essas conquistas, de forma tal que sirva de base ou guia para a tomada de decisões (Aguilar & Ander-Egg, 1994) (*) Há diferenças entre pesquisa e avaliação

7 Entendemos avaliação como a elaboração, a negociação, a aplicação de critérios explícitos de análise, em um exercício metodológico cuidadoso e preciso, com vistas a conhecer, medir, determinar e julgar o contexto, o mérito, o valor ou o estado de um determinado objeto, a fim de estimular e facilitar processos de aprendizagem e de desenvolvimento de pessoas e organizações(Silva e Brandão, 2003)

8 uma boa avaliação visa a reduzir incertezas, a melhorar a efetividade das ações e a propiciar a tomada de decisões relevantes, guia-se por quatro objetivos: oferecer respostas aos beneficiários, à sociedade e ao governo sobre o emprego dos recursos públicos; orientar os investidores sobre os frutos de sua aplicação; responder aos interesses das instituições, de seus gestores e de seus técnicos; buscar sempre uma melhor adequação de suas atividades.

9 Uma avaliação poderá levar em conta: a adequação entre os objetivos e estratégias propostas e recursos utilizados ; a adequação da estrutura organizacional para realizar o trabalho proposto; o quanto e como os objetivos e metas foram atingidos; a qualidade dos serviços prestados e dos resultados; a sustentabilidade da ação ou projeto.

10 TIPOLOGIAS DE AVALIAÇÃO TIPOLOGIAS DE AVALIAÇÃO Quanto à metodologia: Avaliação qualitativa (não de qualidade) Avaliação quantitativa – contribui para estabelecer as relações causais entre as variáveis independentes (intervenção, exposição) e dependentes (resposta ou de desfecho). Avaliações por triangulação de métodos

11 Metodologias Qualitativas Objeto de estudo de pesquisa qualitativa = ação social e os significados atribuídos pelos seus agentes (instituições, grupos, indivíduos, movimentos sociais). Propósito comum em analisar o significado atribuído pelos sujeitos aos fatos, relações e práticas, isto é, interpretando tanto as interpretações quanto as práticas dos sujeitos.

12 Pressuposto: – relação dinâmica entre mundo objetivo e (inter) subjetivo. Concepções, valores, crenças que são referências naquela cultura estarão presentes na tomada de decisões, nas ações concretas dos sujeitos.

13 Abordagens qualitativas de avaliação Condições e Interações Sociais Vivências Culturais Atribuição de Significados BASE PARA AÇÃO

14 Avaliação qualitativa Estará sempre presente quando o avaliador desejar compreender quais os significados que os sujeitos atribuem a qualquer uma das dimensões do programa (definição da demanda, objetivos, estratégias, metas, resultados, sustentabilidade etc) ou como se dá, na prática e no cotidiano, a interface entre a realização das ações do programa e os discursos/concepções sobre estas ações

15 Usos correntes da avaliação qualitativa (Patton, 1987) Descrições detalhadas das demandas/expectativas/o bstáculos para a implementação do programa Análise de processos Descrição dos diferentes tipos e participação e seus papéis Análise de como o programa afeta seus participantes Análise dos efeitos, impactos e mudanças observadas (ou sua ausência) Análise das fraquezas e dos facilitadores do programa

16 Usos correntes da avaliação qualitativa Expectativas dos sujeitos Determinado serviço se coadunaria ou não aos valores culturais e expectativas dos vários atores sociais envolvidos, assim como às suas realidades sócio-econômicas ? (Atkinson, 1993).

17 Usos correntes da avaliação qualitativa A dinâmicas das relações- Análise de processos A realização de qualquer programa ou serviço é um processo que possui movimento, uma dinâmica própria. Envolve a ação de atores distintos que se aliam e se contrapõem. A avaliação qualitativa, portanto, também busca compreender antagonismos e consensos que acontecem no cotidiano da execução dos programas/serviços e que podem ser elementos favoráveis ou obstáculos a sua realização.

18 Análise de como o programa afeta a identidade de seus participantes Os programas envolvem de forma mais ou menos direta a vida e a auto-imagem de seus participantes. Não raro a participação como agente ou usuário de determinado programa pode significar uma considerável mudança de status daquela pessoa diante de seus familiares e comunidade (seja de forma positiva ou negativa).

19 Análise dos efeitos, impactos e mudanças observadas (ou sua ausência) A avaliação de programas sociais envolve sempre a perspectiva de mudança de uma situação, comportamentos ou problemas. Incluir no rol da análise as interpretações dos sujeitos sobre as mudanças percebidas, confrontando com aquelas inicialmente esperadas pelo programa é item indispensável à avaliação qualitativa.

20 Análise das fraquezas e dos facilitadores do programa Toda boa avaliação desencadeia um processo interno de discussão, de debate sobre os obstáculos encontrados;. O quanto cada fator, cada ator e conjuntura (política, administrativa etc) colaboraram para o projeto atingir (ou não) seus propósitos? Há, nesse processo, um ganho de reflexão crítica.

21 Análise das fraquezas e dos facilitadores do programa Sujeitos - balanço crítico- sugestões para melhor realizar as ações. Estas interpretações devem sofrer as críticas dos avaliadores e o confronto do que se tem como consenso do que seja uma boa prática. Aprender com as lições, com os acertos e erros, com a criatividade dos envolvidos - patrimônio precioso para todos os que atuam nos programas.

22 Avaliação como campo polissêmico (apud Novaes, 2000; Patton, 2004) Classificações podem variar quanto: – Objetivos da avaliação – Posição do avaliador – Período Diagnóstico Levantamento de demandas Monitoramento Tomada de decisões Interno/Externo Negociador/ Técnico Compactua critérios/ determina critérios Implantação Implementação Resultados

23 Quanto ao momento da realização avaliação em relação à existência da ação avaliada Ex-ante Ex-post

24 (a) análise diagnóstica situacional inicial; (b) uma avaliação da implantação e da implementação (c) a preciação dos resultados, valorizando também o processo e as tendências, entendendo que os efeitos das intervenções sociais não findam quando ela cessa.

25 A avaliação da implantação observa todos os passos necessários à efetivação da intervenção. Visa (1) verificar a extensão do alcance do programa para a população alvo; (2) monitorar a dose do programa, ou seja, a freqüência da sua aplicação e a participação dos sujeitos envolvidos nas atividades previstas; (3) avaliar a variabilidade do contexto organizacional ou situacional na qual o programa se implementa; (4) correlacionar a extensão na qual os programas são implementados e as metas propostas e (5) mensurar o seu custo de implementação (McGraw et al, 1989 apud Minayo, 2006).

26 O estudo sobre a implementação de um programa, realizado in loco, visa (1) à análise da extensão com que ele alcança a população-alvo; (2) a freqüência e a intensidade de aplicação da proposta e a participação dos sujeitos envolvidos; (3) as questões organizacionais e administrativas; (4) a viabilidade e variabilidade das metas propostas e (5) a formação da equipe de intervenção nos diferentes níveis.

27 A avaliação de resultados visa a dimensionar, qualitativa e quantitativamente, as diferenças entre o momento inicial e as metas/objetivos atingidos ao final de uma intervenção

28 TRIANGULAÇÃO de MÉTODOS EM AVALIAÇÃO

29 Triangulação de abordagens Campos disciplinares Racionalidades científicas Metodologias Técnicas Pesquisadores

30 Triangulação é um termo que significa: a combinação e o cruzamento de múltiplos pontos de vista; a tarefa conjunta de pesquisadores com formação diferenciada; a visão de vários informantes o emprego de uma variedade de técnicas de coleta de dados que acompanha o trabalho de investigação

31 Condições Primeiro é a existência de uma equipe formada por profissionais de várias áreas que desejem trabalhar de forma solidária A segunda condição é a competência disciplinar de cada componente do grupo.

32 Quanti-Quali a compreensão/explicação em profundidade a explicação em extensão

33 princípios para a análise Causalidade complexa, que se opõe à visão de linearidade entre causa-efeito. Destacam-se: as relações em uma visão hologramática no sentido de que o todo contém as partes, a parte contém o todo, mas parte e todo têm características e propriedades específicas; a inseparabilidade da ordem e da desordem em qualquer projeto, proposta ou organização; a irredutibilidade do acaso, da incerteza e do inacabado em todos os fenômenos sociais.

34 Etapas da avaliação (1) Formulação do objeto e do planejamento da avaliação (2) Elaboração de indicadores (3) Escolha das fontes de informação (4) Construção dos instrumentos (5)Trabalho de campo (6)Análise (7) Elaboração do informe – relatório (8)Devolução e debate dos dados

35 INDICADORES Os indicadores, como o próprio nome designa, são somente uma indicação sobre determinada situação, ou reflexo dessa situação, e são usados para medir alterações, efeitos e resultados de uma situação social ou projeto específico (OMS, 1980). Os indicadores ideais são aqueles considerados válidos, objetivos, sensíveis e específicos. Contudo, na prática, poucos indicadores preenchem todos esses quesitos. Não podemos esquecer que são medidas indiretas ou parciais de uma situação complexa e não explicam inteiramente a realidade (OMS, 1980). Funcionam como guias, pistas fundamentais para avaliar alterações, direções, efeitos e resultados dos projetos.

36 Transformar os objetivos em itens capazes de mensurar/expressar as mudanças devidas a uma intervenção social.

37 Indicadores quantitativos Indicadores qualitativos Indicadores

38 Indicador quantitativo Exemplo: COBERTURA Indicador1 : Proporção de indivíduos da população-alvo captada pelo projeto PIPACP = NIPACP/ TIPA Onde: PIPACP = proporção de indivíduos da população alvo, captada pelo projeto NIPACP = número de indivíduos da população alvo captados pelo projeto TIPA = total de indivíduos da população alvo Definição: número de indivíduos da população alvo captados pelo projeto, expresso como percentual do total de indivíduos da população alvo do projeto. Obs: considera-se indivíduo captado pelo projeto aquele que participou de 3 atividades educativas Propósito: este indicador visa saber a proporção de indivíduos da população alvo captada pelo projeto

39 Indicador qualitativo Exemplos: Ganho de capacidade de argumentação para o reconhecimento de direitos Atitudes em relação a determinada questão Articulação comunicacional Ampliação e conectividade da rede de suporte social

40 Por que investir em avaliação? ganho de legitimidade pública e institucional. ganho de competência técnica e gerencial. ganho de reflexão crítica. possibilita o compartilhamento de saberes e experiências. maior competitividade na busca de recursos cada vez mais limitados de financiamento

41 Se quem planeja governa melhor, quem avalia aumenta sua governabilidade

42 fim


Carregar ppt "AVALIAÇÃO Suely F. Deslandes IFF-FIOCRUZ. O que é Avaliação ? Avaliação, enquanto estratégia investigativa, é um processo sistemático de fazer perguntas."

Apresentações semelhantes


Anúncios Google