Usos da avaliação na prática institucional Ana Cláudia Figueiró (GEAS-IMIP) Rio de Janeiro, dezembro 2010 Idéias e conceitos Modelo teórico Tensões e condições Circulação dos eventos da avaliação

Idéias centrais “…evaluation's most important purpose is not to prove, but to improve.” … o propósito mais importante da avaliação não é provar, mas sim melhor (Stufflebeam. CIPP Model, 1999) “All evaluations have a cost but not necessarily a value. Their value does not depend on their cost but on their use.” Todas as avaliações têm um custo mas não necessariamente um valor. Seu valor não depende do seu custo, mas do seu uso. (Feinstein, 2002:433) “Success is to be judged by… success in communication…”. O sucesso [da avaliação] será julgado pelo sucesso da comunicação (Cronbach, L.J. (1982)

 Suposição inicial: evidências científicas, produzidas por pesquisas rigorosamente conduzidas a cerca do sucesso ou fracasso de programas, seriam naturalmente utilizadas pelos tomadores de decisão, num modelo linear ligando os estudos à implementação de ações de qualidade e aos resultados esperados  Entendimento atual: variados e legítimos aspectos (interesses, valores, motivações, recursos) estão implicados nas decisões políticas e nos usos das avaliações para tomada de decisões (WEISS, 1993; WEISS, 1999; CHAMPAGNE, 1999; BRAGA; ALBUQUERQUE; MORAIS, 2004; CHAMPAGNE; CONTANDRIOPOULOS; TANON, 2005) Entendimento quanto aos usos das avaliações

Pressupostos Avaliação não se traduz automaticamente em ações; como qualquer política ou intervenção, deve ser questionada em relação aos seus objetivos, inserção institucional, custos e conseqüências (positivas e negativas), pelos interessados e envolvidos na intervenção e na avaliação A avaliação sendo uma intervenção tal como políticas e programas, deve ela mesma ser objeto de avaliação – Meta-avaliação

Meta-avaliação Utilidade: atende as necessidades de informação dos usuários Factibilidade: realista e moderada nos custos de modo a justificar a sua realização Propriedade: conduzida eticamente, com respeito ao bem-estar dos envolvidos Precisão ou acurácia: informa sobre o valor ou mérito dos programas avaliados com a devida validade Especificidade: adequada ao tratamento da “especificidade das intervenções” (CDC, 1999; 2004; STUFFLEBEAM, 2001; HARTZ, 2006; HARTZ; GOLDBERG; FIGUEIRÓ; POTVIN, 2008; FIGUEIRÓ; HARTZ; THULER; DIAS, 2008)

Usos da Avaliação  Definição frequente, Leviton e Hughes (1981): “… is confined here to use of evaluation results for programs and policy only, not by academicians or by the press…” (p.526) (refere-se ao uso dos resultados da avaliação pelos programas e política, não por acadêmicos ou pela imprensa)

Redefinindo Uso (Patton, 2007)  Uso é um processo e não um evento  Uso envolve acompanhamento e facilitação e não apenas elaboração de um relatório  Uso envolve preparação e treinamento para o uso, não apenas disseminação de resultados

Dos usos dos resultados aos usos processuais da avaliação  O uso processual refere-se a e é indicado pelas mudanças individuais, de pensamento e comportamento, e mudanças programáticas ou organizacionais nas práticas e cultura que ocorre entre os envolvidos, como resultado da aprendizagem que se realiza durante o processo avaliativo. Essas podem acontecer para além dos resultados finais da avaliação (PATTON, 1997; 2005; 2007)

Componentes implicados na utilização das avaliações  Debate se estrutura em quatro blocos ou pilares: modelos de uso da avaliação modos de produção do conhecimento níveis de influência da avaliação avaliação com foco na utilidade (HARTZ, DENNIS, MOREIRA, MATIDA, 2008)

TIPOS DE INFLUÊNCIA Fontes Processos Resultados Intenção Prevista Inesperada Momento Imediato Ciclos Longo prazo Individual Atitudes Habilidades Condutas Interpessoal Persuasão Lideranças Opiniões Normas sociais Coletivo Agenda Política Aprendizagem Organizacional Melhorias sociais NÍVEIS DE INFLUÊNCIA MODELOS DE USO Instrumental Política ou Simbólica Conhecimentos Novos MODOS DE PRODUÇÃO DO CONHECIMENTO Disciplinar Contextual COMPONENTES ENVOLVIDOS NOS USOS DA AVALIAÇÃO (Hartz, 2008) Historicidade (Contexto-Tempo): múltiplas linhas de evidências Kirkhart, 2000; Henry & Mark,2003; Patton,1997; Weiss, 1999; CDC,1999 AVALIAÇÃO COM FOCO NA UTILIDADE

Expectativa do avaliador  Uso instrumental: uso dos resultados da avaliação para informar a tomada de decisão, preferencialmente no curto prazo (Amara et al, 2004)  Isso acontece??  “O avaliador tem que aceitar que mesmo quando tem o comprometimento dos gestores e administradores; conduz o estudo dentro dos propósitos da instituição e de forma metodologicamente competente; finaliza e entrega os resultados dentro do prazo previsto para as decisões e dissemina os achados; ainda assim seus resultados são ignorados” (Weiss, 1998)

Tensões para o uso da avaliação Os diferentes mundos em que parecem viver: gestores, coordenadores de políticas e programas, e pesquisadores sociais, entre esses os avaliadores  “…cientistas sociais vêm a si mesmo como: racionais, objetivos e novas e abertas idéias, e tomadores de decisão como orientados pela ação e interesses, e indiferentes a evidências e novas idéias  Tomadores de decisão vêm a si mesmo como: responsáveis, orientados para ação e pragmáticos, e cientistas como ingênuos, scientists as naive, cheios de jargões e irresponsáveis quanto à realidade prática Comunicação de mão-dupla entre os dois campos pode facilitar um entendimento mútuo das questões políticas e o tipo de conhecimento necessário” Innvær (2002)

 a qualidade do conteúdo de pesquisas e políticas, com ênfase nos problemas de linguagem (referidos como desprezo intelectual mútuo)  questões ligadas às interações do ator, como as diferentes formações técnicas e culturas políticas, confrontando experiência e informação científica  o canal de comunicação em contextos políticos e organizacionais, reforçando o necessário desenvolvimento de capacidade para criar interesses e a competência em estabelecer elos (TROSTLE, 1999) Dificuldade na condução e tradução das avaliações que tragam respostas para as necessidades dos tomadores de decisão e contribuam efetivamente para as melhorias sociais (WEISS, 1993; POUVOURVILLE,1999; TROSTLE, 1999) Tensões para o uso da avaliação

 O uso das avaliações não só não acontece naturalmente como precisa ser facilitado, e facilitar o uso é parte fundamental do trabalho do avaliador (PATTON, 1997; WEISS, 1999; MARK; HENRY, 2004) Para utilizar as avaliações

 Características e mecanismos com maior influência na utilização das avaliações: participação dos grupos interessados (stakeholders) no processo de avaliação avaliador como facilitador no desenvolvimento do processo, comprometido com o envolvimento e com a promoção da aprendizagem organizacional (PRESKILL; CARACELLI, 1997; FLEISCHER; CHRISTIE, 2009) Para utilizar as avaliações

Análise contextualizada  Para ser útil, a avaliação deve ter foco no contexto, nos textos produzidos pelos diversos atores e seus significados  “Os itens discutidos pelos avaliadores (o avaliando, sua eficácia, teoria do programa, etc.) são textos. O programa e sua lógica; os tipos de técnicas; as descobertas da avaliação estão condicionados pela maneira como foram compreendidos e interpretados por cada ator (incluindo o avaliador), de acordo com suas restrições formais, morais e normativas” ( BEZZI, 2006 “Evaluation Pragmatics”)  Para que os atores aprendam com a avaliação, a análise deve fazer sentido da perspectiva dos atores envolvidos. Interpretações e interações de atores desempenham um papel não somente na produção de resultados, mas também no aprendizado como conseqüência da avaliação (VAN DER MEER&EDELENBOS,2006)

Contexto organizacional (THOENIG, 2000; TROSTLE 1999; GARCIA, 2001; HANNEY; GONZALEZ-BLOCK; BUXTON; KOGAN, 2003; TORRES; PRESKILL, 2001; TAUT, 2007; FELISBERTO et al, 2009)  Condições requeridas para que a avaliação na melhoria contínua das ações programáticas: capacidade de produzir as informações demandadas pela gestão credibilidade dos avaliadores qualidade dos estudos acesso dos avaliadores as lideranças influentes na organização legitimação institucional da avaliação pelo avaliado comprometimento dos avaliadores com a continuidade do aprendizado organizacional tempo para reflexão, exames do temas retratados e diálogo entre avaliadores, staff dos programas e lideranças organizacionais

A circulação dos eventos da avaliação configurando seus usos  Num processo de aprendizado social pesquisadores, implementadores e usuários aprendem a partir de experiências e interações  Princípios da teoria da tradução poderão facilitar uma melhor compreensão dos elementos, elos e pontes entre esses dois mundos, em sua dinâmica mútua e contínua (HARTZ, 2008) O elemento central é a rede sócio-técnica: teia de atuantes (humanos e não humanos) ligados entre si numa cadeia onde interagem conhecimento, aparatos e capacidade técnica, mediações, ações (CALLON; LATOUR, 1991 apud POTVIN, 2007; LATTOUR, 2006)

No interior das redes sócio-técnicas processam- se as traduções entre fatos científicos e ações  As traduções ocorrem por meio de negociações entre os atuantes  Produz-se um novo conhecimento a partir do entendimento entre diferentes perspectivas e argumentos  Emergem novas proposições para ação, fruto do alinhamento de interesses e objetivos que integram e dialogam com as divergências (CALLON; LATOUR, 1991 apud POTVIN, 2007) A circulação dos eventos da avaliação configurando seus usos

Circulação dos fatos da avaliação Na perspectiva de circulação dos fatos científicos, os usos da avaliação se inserem num processo de tradução:  As cadeias de tradução se referem ao trabalho pelo qual os atores modificam, deslocam e traduzem os seus interesses diversos e contraditórios  A referência circulante, produzida com os deslocamentos de atuantes, qualifica a cadeia de transformações  Quando as controvérsias entram em cena, o resultado é um entendimento maior e mais amplo para os programas de ação e minimização de reações

TIPOS DE INFLUÊNCIA Fontes Processos Resultados Intenção Prevista Inesperada Momento Imediato Ciclos Longo prazo Individual Atitudes Habilidades Condutas Interpessoal Persuasão Lideranças Opiniões Normas sociais Coletivo Agenda Política Aprendizagem Organizacional Melhorias sociais NÍVEIS DE INFLUÊNCIA MODELOS DE USO Instrumental Política ou Simbólica Conhecimentos Novos MODOS DE PRODUÇÃO DO CONHECIMENTO Disciplinar Contextual COMPONENTES ENVOLVIDOS NOS USOS DA AVALIAÇÃO Historicidade (Contexto-Tempo): múltiplas linhas de evidências Kirkhart, 2000; Henry & Mark,2003; Patton,1997; Weiss, 1999; CDC,1999 AVALIAÇÃO COM FOCO NA UTILIDADE 1.Mobilização (instrumentos) 2.Autonomização (colegas) 3.Alianças (aliados) 4.Representação pública 5.Nós e vínculos Circulação dos fatos da avaliação

2.Autonomização (colegas) 1.Mobilização (instrumentos) 3.Alianças (aliados) 4.Representação pública 5.Nós e vínculos Tipos e níveis de influência Modos de produção do conhecimento Avaliação baseada na utilidade Modelos de uso Modelo teórico-operacional para análise os usos da avaliação Usos da avaliação na produção de novos eventos APRENDIZAGEM ORGANIZACIONAL CONTROVÉRSIAS

2.Autonomização (colegas) 1.Mobilização (instrumentos) 3.Alianças (aliados) 4.Representação pública 5.Nós e vínculos Tipos e níveis de influência Modos de produção do conhecimento USOS DA AVALIAÇÃO APRENDIZAGEM ORGANIZACIONAL Avaliação baseada na utilidade Modelos de uso Consequências Eventos e Mediações

Na prática...

Sistematização dos achados Revisão e Síntese da literatura Apresentação e discussão dos achados com os envolvidos no PNCD Revisão do Modelo Lógico do programa para os 3 âmbitos de gestão Ficha síntese de produção técnica e científica Teste do instrumento de investigação de óbito da SVS-MS para uso na pesquisa Revisão das iniciativas de capacitação de médicos SES (Estado 1) Uso do material educativo elaborado e distribuído aos médicos pela SVS/MS Revis ã o das iniciativas de capacita çã o de supervisores e gestores – SVS/MS Uso dos óbitos investigados como casos clínicos p/ capacitação de médicos Elaboraçã o de material instrucional Teste do instrumento de investigação de óbito pelo NEPI de Hospital Geral: validação operacional Discussã o e recomenda çõ es para os diversos envolvidos: profissionais, gerentes, coordenadores da SES – avalia çã o do Projeto Unidade Sentinela Apresentação e discussão com chefias e profissionais dos setores relacionados aos óbitos investigados, com encaminhamentos de mudança de condutas no serviço Momento ImediatoMúltiplas fontes de evidênciasMomento de médio prazo Realização do 1º Seminário Internacional de Avaliação do PNCD Painel de experts: apreciação de lacunas e avanços no programa e avaliação 5 Eixos para avaliação do PNCD: Mortalidade / Letalidade; Gestão descentralizada; Ações de Controle do Vetor; Mobilização e Comunicação; Custo- efetividade Análise Lógica do PNCD Proposição do Curso Básico de Avaliação em Saúde – EAD para responsáveis pelo PNCD nos três âmbitos de gestão do SUS Avaliação da Qualidade da Assistência prestada aos pacientes de dengue: Estudo Piloto Elaboração do Projeto de Avaliação HISTORICIDADE E LINHAS DE EVIDÊNCIA: Eventos, influências e conseqüências da avaliação do PNCD

Sistematização dos achados Revisão e Síntese da literatura Apresentação e discussão dos achados com os envolvidos no PNCD Revisão do Modelo Lógico do programa para os 3 âmbitos de gestão (MEDIADOR) Ficha síntese de produção técnica e científica Realização do 1º Seminário Internacional de Avaliação do PNCD Painel de experts: lacunas e avanços no programa e avaliação 5 Eixos para avaliação do PNCD: Mortalidade / Letalidade; Gestão descentralizada; Ações de Controle do Vetor; Mobilização e Comunicação; Custo- efetividade Análise Lógica do PNCD Proposição do Curso Básico de Avaliação em Saúde – EAD para responsáveis pelo PNCD nos três âmbitos de gestão do SUS Elaboração do Projeto de Avaliação HISTORICIDADE E LINHAS DE EVIDÊNCIA: Eventos e conseqüências da avaliação do PNCD

Teste do instrumento de investigação de óbito da SVS-MS para uso na pesquisa Revisão das iniciativas de capacitação de médicos SES (Estado 1) Uso do material educativo elaborado e distribuído aos médicos pela SVS/MS Revis ã o das iniciativas de capacita çã o de supervisores e gestores – SVS/MS Uso dos óbitos investigados como casos clínicos p/ capacitação de médicos Elaboraçã o de material instrucional Teste do instrumento de investigação de óbito pelo NEPI de Hospital Geral: validação operacional Discussã o e recomenda çõ es para os diversos envolvidos: profissionais, gerentes, coordenadores da SES – avalia çã o do Projeto Unidade Sentinela Apresentação e discussão com chefias e profissionais dos setores relacionados aos óbitos investigados, com encaminhamentos de mudança de condutas no serviço Avaliação da Qualidade da Assistência prestada aos pacientes de dengue: Estudo Piloto HISTORICIDADE E LINHAS DE EVIDÊNCIA: Eventos e conseqüências da avaliação do PNCD 2008

Institucionalização e Usos da Avaliação CGPCND-SVS BIBLIOTECA VIRTUAL Fortalecer a Capacidade Avaliativa com foco na Qualidade e UTILIDADE da Avaliação EDUCAÇÃO PERMANENTE UNIDADE GESTORA (CÉLULA) DE AVALIAÇÃO DA CGPNCD COOPERAÇÃO TÉCNICA – Centros colaboradores MONITORAMENTO E AUDITORIA ESTUDOS E PESQUISAS

 Constituição da “célula de avaliação” na CGPNCD: articulação dos componentes  Gestão dos estudos segundo as orientações propostas Avaliação da Gestão Descentralizada e Integrada do PNCD Avaliação da Qualidade da Assistência aos Pacientes de Dengue Qualificação dos Planos de Contingência Municipais  Configuração preliminar de uma Biblioteca Virtual sobre Dengue que facilite o livre acesso ao material indexado - Ficha de Leitura, Sistemática para indexação dos achados e recomendações de publicações de avaliação do programa  Construção do Modelo Lógico do Programa para o âmbito estadual de gestão e orientação para o federal  Educação Permanente Realização do Curso Básico de Avaliação em Saúde em EAD SES e MS  Realização dos Seminários de Avaliação do PNCD articulado com parceiros nacionais e internacionais Usos da avaliação requer o fortalecimento da capacidade avaliativa nas instâncias de gestão

Obrigada!