AVALIAÇÃO DE POLÍTICAS DE C&T&I MCSouzaPaula-abril2013.

Apresentação em tema: "AVALIAÇÃO DE POLÍTICAS DE C&T&I MCSouzaPaula-abril2013."— Transcrição da apresentação:

1 AVALIAÇÃO DE POLÍTICAS DE C&T&I MCSouzaPaula-abril2013

2 AVALIAÇÃO DE POLITICAS DE C&T&I ACOMPANHAMENTO&AVALIAÇÃO

3 ACOMPANHAMENTO & AVALIAÇÃO meios para verificar a realização de metas, resultados e impactos esperados e inesperados; meios para verificar a realização de metas, resultados e impactos esperados e inesperados; reflexões e análises que permitam “compreender” como e em que condições esses resultados/impactos se realizam (ou não). reflexões e análises que permitam “compreender” como e em que condições esses resultados/impactos se realizam (ou não). Atividades da GESTÃO ESTRATÉGICA de políticas, programas ou projetos. Atividades da GESTÃO ESTRATÉGICA de políticas, programas ou projetos. MCSouzaPaula-abril2013

4 MCSouzaPaula. abril2013 A&A x GESTÃO ESTRATÉGICA DESEMPENHO DO A&A RELACIONA-SE ESTREITAMENTE À:  CLAREZA DE OBJETIVOS DO OBJETO DA AVALIAÇÃO  CONTEXTO – RISCOS E  RECURSOS E MECANISMOS NECESSÁRIOS E ADEQUADOS  GESTÃO ADEQUADA DAS VÁRIAS FASES DA POLÍTICA OU PROGRAMA ASSIM, JÁ NÃO CABE MAIS FALAR EXCLUSIVAMENTE DE "AVALIAÇÃO" MAS DE "GESTÃO ESTRATÉGICA"

5 GESTÃO ESTRATÉGICA REFERÊNCIA AOS OBJETIVOS CENTRAIS DA POLÍTICA, PROGRAMA, AÇÃO, INSTITUIÇÃO; VISÃO DINÂMICA DOS “PROCESSOS”; DESDE O PLANEJAMENTO ATÉ AVALIAÇÃO FINAL; NELA O A&A VAI DESDE A FORMULAÇÃO DAS POLÍTICAS, PROGRAMAS, AÇÕES. (ideal) MCSouzapaula-abril2013

6 A&A ATIVIDADE CONTÍNUA ATIVIDADE “AD HOC” – NÃO HÁ MODELO FIXO – HÁ ORIENTAÇÕES GERAIS ESTRATÉGIA QUE INTEGRE ATORES E OBSERVE ESPECIFICIDADES GERA ELEMENTOS OBJETIVOS PARA A TOMADA DE DECISÃO MCSouzaPaula-abril2013

7 ACOMPANHAMENTO OBJETIVOSGERAL: Contribuir para a garantia de condições e fatores essenciais ao desenvolvimento do projeto, programa, política, bem como à sua avaliação. Contribuir para a garantia de condições e fatores essenciais ao desenvolvimento do projeto, programa, política, bem como à sua avaliação.ESPECÍFICOS: Acompanhar a implementação do projeto, programa, política, etc. com foco nos objetivos, processos e resultados; Acompanhar a implementação do projeto, programa, política, etc. com foco nos objetivos, processos e resultados; identificar dificuldades ou novos fatores intervenientes durante a implementação; identificar dificuldades ou novos fatores intervenientes durante a implementação; possibilitar intervenções em tempo hábil; possibilitar intervenções em tempo hábil; MCSouzaPaula-abril2013

8 ACOMPANHAMENTO x INFORMAÇÕES GERA E SISTEMATIZA INFORMAÇÕES ESSENCIAIS AO CONHECIMENTO INTEGRAL DO QUE SE PRETENDE AVALIAR (POLITICA, PROGRAMA, PROJETO) GERA AS INFORMAÇÕES NECESSÁRIAS À CONSTRUÇÃO DOS INDICADORES SELECIONADOS PARA A AVALIAÇÃO DA POLÍTICA OU PROGRAMA

9 POR QUE AVALIAR RAZÕES DO A&A (1) PRESSÃO SOCIAL CRESCENTE EM BUSCA DE TRANSPARÊNCIA (ACCOUNTABILITY); PRESSÃO DOS ORGANISMOS FINANCIADORES – (PRESSÃO SOCIAL E RESTRIÇÕES DE RECURSOS); EXPECTATIVAS S/ PAPEL SOCIAL DA CIÊNCIA, TECNOLOGIA E INOVAÇÃO (DIMENSÕES DE IMPACTOS DAS POLÍTICAS E PROGRAMAS). MCSouzaPaula-abril2013

10 PARA QUE AVALIAR RAZÕES DO A&A (2) NECESSIDADE DE GARANTIR O BOM ANDAMENTO DO PROJETO, SEUS RESULTADOS E IMPACTOS; NECESSIDADE DE GARANTIR O BOM ANDAMENTO DO PROJETO, SEUS RESULTADOS E IMPACTOS; IDENTIFICAR OS RESULTADOS E IMPACTOS; IDENTIFICAR OS RESULTADOS E IMPACTOS; COMPREENDER O PROCESSO PELO QUAL SE ALCANÇAM OS RESULTADOS, OS FATORES ENVOLVIDOS E INTERVENÇÕES NECESSÁRIAS; COMPREENDER O PROCESSO PELO QUAL SE ALCANÇAM OS RESULTADOS, OS FATORES ENVOLVIDOS E INTERVENÇÕES NECESSÁRIAS; APERFEIÇOAR A GESTÃO E OS PROCESSOS; APERFEIÇOAR A GESTÃO E OS PROCESSOS; INSTRUIR O PROCESSO DECISÓRIO. INSTRUIR O PROCESSO DECISÓRIO. MCSouzaPaula-abril2013

11 QUANDO AVALIAR? (1) ANTES/FASE INICIAL  AVALIAÇÃO PREVIA (contexto e adequação de políticas, programas, etc.);  AVALIAÇÃO TECNOLÓGICA (Technology Assessment);  AVALIAÇÃO EX-ANTE DE PROJETOS. MCSouzaPaula-abril2013

12 QUANDO AVALIAR? (2) DURANTE /FASE IMPLEMENTAÇÃO  PROCESSOS DE ACOMPANHAMENTO (Gestão e metas)  VERIFICAÇÃO DE METAS INTERMEDIÁRIAS;  MONITORAMENTO FATORES DE RISCO E PRESSUPOSTOS – identificação e solução de dificuldades, identificação de oportunidades e ações para seu aproveitamento;  ORGANIZAÇÃO DA INFORMAÇÃO ADEQUADA AOS INDICADORES DE AVALIAÇÃO; MCSouzaPaula-abril2013

13 QUANDO AVALIAR (3) FASE FINAL AVALIAÇÃO DE RESULTADOS E IMPACTOS (várias dimensões) EX-POST AVALIAÇÃO DE IMPACTOS DE MÉDIO E LONGO PRAZOS (várias dimensões) MCSouzaPaula-abril2013

14 O QUE AVALIAR REFERÊNCIAS PRINCIPAIS: REFERÊNCIAS PRINCIPAIS:  OBJETIVOS DA POLÍTICA, DO PROGRAMA;  CONCEITOS QUE EMBASAM E ORIENTAM AS AÇÕES DA POLÍTICA OU DO PROGRAMA (ex: INOVAÇÃO)  CONTEXTO E CONDIÇÕES EM QUE SE IMPLEMENTA A POLÍTICA OU PROGRAMA;  ESPECIFICIDADES DAS ÁREAS E/OU SETORES SOBRE OS QUAIS AGEM A POLÍTICA OU PROGRAMA. MCSouzaPaula-abril2013

15 O QUE AVALIAR (2) ABRANGÊNCIA DA AVALIAÇÃO   ADEQUAÇÃO DA POLÍTICA e SEUS INSTRUMENTOS   GESTÃO  ASPECTOS NORMATIVOS;  ASPECTOS GERENCIAIS/PROCESSOS;  ACOMPANHAMENTO E AVALIAÇÃO (meta-avaliação)   DESEMPENHO – resultados   IMPACTOS – curto, médio e longo prazo MCSouzaPaula-abril2013

16 O QUE AVALIAR (3) ABRANGÊNCIA DA AVALIAÇO FOCO DE MAIOR INTERESSE VERIFICAR RESULTADOS E IMPACTOS EM DIVERSOS CAMPOS E DIMENSÕES - ECONÔMICA, POLÍTICA, SOCIAL, AMBIENTAL, EDUCACIONAL, CIENTÍFICA, ETC.

17 Rosa dos Ventos C+T+I CONHECIMENTOS CERTIFICADOS INSTITUIÇÕES DE P+D EXPERTISE E DIVULGAÇÃO FORMAÇÃO DE COMPETÊNCIA MEDIA, MUSEUS, DEBATES CONGRESSOS, ETC. SISTEMA EDUCATIVO BENS COLETIVOS, (SAÚDE, AMBIENTE, BEM-ESTAR) PODERES PÚBLICOS SISTEMA ECONÔMICO/ EMPRESAS VANTAGENS COMPETITIVAS (INOVAÇÃO) Adaptado de Callon e outros (1997)

18 RESULTADOS E IMPACTOS NECESSÁRIO CONHECER: Os tipos de resultados esperados; Os canais de difusão (para atores acadêmicos e não acadêmicos) As formas de impacto (formas e vias pelas quais os atores podem utilizar os resultados das pesquisas) MCSouzaPaula-abril2013

19 RESULTADOS E IMPACTOS RESULTADOS - COTEJADOS COM OBJETIVOS RESULTADOS - COTEJADOS COM OBJETIVOS DIVERSAS DIMENSÕES – DESTAQUE AOS FOCOS PRINCIPAIS DIVERSAS DIMENSÕES – DESTAQUE AOS FOCOS PRINCIPAIS CURTO, MEDIO E LONGO PRAZOS CURTO, MEDIO E LONGO PRAZOS IMPACTOS RELACIONADOS A PROCESSOS (organização institucional, por exemplo) IMPACTOS RELACIONADOS A PROCESSOS (organização institucional, por exemplo) ESPERADOS E NÃO ESPERADOS ESPERADOS E NÃO ESPERADOS OBSTÁCULOS À REALIZAÇÃO DE RESULTADOS E EVENTUAIS IMPACTOS NEGATIVOS – COMPREENDER PARA CORRIGIR RUMOS DA POLÍTICA OU PROGRAMA OBSTÁCULOS À REALIZAÇÃO DE RESULTADOS E EVENTUAIS IMPACTOS NEGATIVOS – COMPREENDER PARA CORRIGIR RUMOS DA POLÍTICA OU PROGRAMA

20 RESULTADOS E IMPACTOS EM PESQUISA E INOVAÇÃO, A INSUFICIÊNCIA DE RESULTADOS OU IMPACTOS POSITIVOS NÃO SIGNIFICA, NECESSARIAMENTE, O FRACASSO DE UM PROJETO. MULTIPLOS FATORES INTERVENIENTES (MERCADO, APARECIMENTO NOVOS PRODUTOS SIMILARES, ETC.) MULTIPLOS FATORES INTERVENIENTES (MERCADO, APARECIMENTO NOVOS PRODUTOS SIMILARES, ETC.) IMPACTOS DEPENDEM DA UTILIZAÇÃO DOS RESULTADOS – FOR A DA GOVERNANÇA DOS PROJETOS – IMPORTÂNCIA DE UMA VISÃO INTEGRAL NA FORMULAÇÃO DA POLÍTICA IMPACTOS DEPENDEM DA UTILIZAÇÃO DOS RESULTADOS – FOR A DA GOVERNANÇA DOS PROJETOS – IMPORTÂNCIA DE UMA VISÃO INTEGRAL NA FORMULAÇÃO DA POLÍTICA

21 ADICIONALIDADE DIFERENÇA QUE A POLÍTICAS E PROGRAMAS TRAZEM PARA OS RECEPTORES DO APOIO E USUÁRIOS DE SEUS INSTRUMENTOS, PARTICULARMENTE EMPRESAS, EM TERMOS DE P&D.   QUAL A REAL CONTRIBUIÇÃO DO PROJETO/PROGRAMA EM ANÁLISE?   O QUE ACONTECERIA SE ELE NÃO TIVESSE EXISTIDO?   É POSSÍVEL QUE OS RESULTADOS ATRIBUÍDOS A UM PROJETO/PROGRAMA OCORRESSEM INDEPENDENTE DELE?

22 ADICIONALIDADE   RELACIONADA AOS RESULTADOS: QUANDO OS RESULTADOS PRODUZIDOS SÃO DIFERENTES EM FUNÇÃO DO INCENTIVO, DOS SUBSÍDIOS E FINANCIAMENTOS RECEBIDOS.   RELACIONADA AOS INSUMOS – ex. O AUMENTO DE RECURSOS INVESTIDOS PELAS EMPRESAS;   ORGANIZACIONAL - DIFERENTES FORMAS DE ORGANIZAÇÃO DO TRABALHO E DE SUA GOVERNANÇA;   COMPORTAMENTAL, REPRESENTADA PELA MODIFICAÇÃO DO COMPORTAMENTO DOS ATORES;

23 COMO AVALIAR?

24 ATRIBUTOS DE QUALIDADE DA AVALIAÇÃO CONSISTÊNCIA E SOLIDEZ (RESISTIR A CRÍTICAS, SER CONFIÁVEL, FUNDAMENTOS, MAIS QUE ESTATÍSTICA) CREDIBILIDADE (AVALIAÇÃO DEVE SER CONDUZIDA DE FORMA CLARA E BEM ESTRUTURADA, POR PROFISSIONAIS DE RECONHECIDA CONFIANÇA NOS SETORES E OU ÁREAS DE AÇÃO DA POLÍTICA OU PROGRAMA); CLAREZA CONCEITUAL (DA POLÍTICA OU PROGRAMA FACE AOS SEUS OBJETIVOS). PERTINÊNCIA (QUESTÕES CORRETAS, PERTINENTES QUANTO AO OBJETO DA AVALIAÇÃO E OS OBJETIVOS DA INSTITUIÇÃO, PROGRAMA, AÇÃO, ETC.); MCSouzaPaula-abril2013

25 ELEMENTOS ESSENCIAIS PARA UMA AVALIAÇÃO DE QUALIDADE UM BOM DESENHO DAS ATIVIDADES DE A&A (projeto, estratégia, procedimentos) CRITÉRIOS E INDICADORES ADEQUADOS; INFORMAÇÕES CONFIÁVEIS E SUFICIENTES; ANÁLISES QUANTITATIVAS E QUALITATIVAS SÓLIDAS; SUGESTÕES PARA AÇÃO CONCRETA. LEGITIMIDADE MCSouzaPaula-abril2013

26 LEGITIMIDADE processo de acompanhamento e avaliação reconhecido pelos diversos atores  ENVOLVIMENTO DOS ATORES;  TRANSPARÊNCIA - CRITÉRIOS E PROCEDIMENTOS BEM DEFINIDOS E CLAROS;  METODOLOGIAS ADEQUADAS;  AVALIADORES COM RECONHECIDA COMPETÊNCIA E LEGITIMIDADE,  VALIDAÇÃO DOS RESULTADOS; MCSouzaPaula-abril2013

27 COMO AVALIAR? TIPO DE AVALIAÇÃO; INSTRUMENTOS E PROCEDIMENTOS; TEMPO; AVALIADORES. MCSouzaPaula-abril2013

28 TIPOS DE AVALIAÇÃO AVALIAÇÃO INTERNA e EXTERNA AVALIAÇÃO INTERNA e EXTERNA POR PARES (peer review) POR PARES (peer review) POR PARES - AMPLIADO POR PARES - AMPLIADO ESPECIALISTAS EM AVALIAÇÃO ESPECIALISTAS EM AVALIAÇÃO PAINÉIS DE ESPECIALISTAS PAINÉIS DE ESPECIALISTAS PAINÉIS AMPLIADOS PAINÉIS AMPLIADOS CONFERÊNCIAS DE CONSENSO CONFERÊNCIAS DE CONSENSO ESTUDOS DE CASO ESTUDOS DE CASO

29 A&A - RESUMO A&A – PARTE DA GESTÃO ESTRATÉGICA A&A – PARTE DA GESTÃO ESTRATÉGICA ACOMPANHAMENTO - INFORMAÇÕES ACOMPANHAMENTO - INFORMAÇÕES RAZÕES DA AVALIAÇÃO – por quê? RAZÕES DA AVALIAÇÃO – por quê? FINALIDADES – para quê? FINALIDADES – para quê? TEMPOS - quando? TEMPOS - quando? ABRANGÊNCIA – o quê? ABRANGÊNCIA – o quê? ADICIONALIDADE ADICIONALIDADE COMO AVALIAR – como? COMO AVALIAR – como? ATRIBUTOS ESSENCIAIS DA AVALIAÇÃO ATRIBUTOS ESSENCIAIS DA AVALIAÇÃO TIPOS TIPOS AVALIADORES AVALIADORES