Seminário Internacional Avaliação de Políticas de Ciência, Tecnologia e Inovação – Diálogos entre experiências internacionais e brasileiras Rio de janeiro, 3 a 5 de dezembro de 2007 Fundos Setoriais como instrumentos da nova política de C,T&I: Propostas e referenciais para avaliação Antonio Carlos F. Galvão

Avaliação em Ciência, Tecnologia e Inovação e Fundos Setoriais Avaliação C,T&I com ênfase nos Fundos Setoriais Modelo sistêmico e periodização da Política de C,T&I Plano do MCT e dimensões básicas do Sistema no Brasil Espaço preferencial e papel do CGEE e do MCT na Avaliação de Programas e Políticas de C,T&I Fundos Setoriais – Avaliações preliminares (Aderência e outras) Dados básicos do SigFS e algumas questões para a uma proposta de Avaliação Passos futuros - conclusões e recomendações

Avaliação em Ciência, Tecnologia e Inovação e Fundos Setoriais Modelo Sistêmico de Inovação: Interatividade Cooperação Aprendizagem Novos Atores Territorialidade Fonte: OCDE (1999) apud Viotti (2003)

Avaliação em Ciência, Tecnologia e Inovação e Fundos Setoriais Periodização do Sistema e sua relação com a Avaliação C,T&I 1ª Fase do Pós-Guerra (até anos 60) Avaliação ‘ex-ante’ das propostas de pesquisa; Peer review e métodos simples de seleção de projetos Foco nos insumos (frutos virão com certeza) Avaliação ‘ex-post’ desnecessária 2ª Fase do Pós-Guerra (dos anos 60 aos 80) Competitividade e sustentabilidade Contabilidade passa a ser requerida; relevância social é cobrada Programas de missão orientada (Programa Apollo;Guerra ao Cancer etc.) Avaliação ‘ex-post’ expõe o alcance dos resultados com os programas 3ª Fase do Pós-Guerra (dos anos 80 para cá) programas de estímulo à P&D (generalizado; TICs, biotec etc.) Abordagem para deslocar o sistema para uma direção estratégica criar capacidades e estimular cultura cooperativa Avaliação ‘ex-post’ tornou-se padrão Fonte:Arie Rip “Societal challenges for R&D evaluation apud Shapira e Kuhlmann (2003)

Avaliação em Ciência, Tecnologia e Inovação e Fundos Setoriais Estado da arte da Avaliação da P&D Grants p/ pesquisa Grants e programas p/ Contratos e Programas de sem fim definido pesquisa estratégica P&D (estímulo, missão) (novo desafio) Ex-ante: Revisão pelos pares das Revisão pelos pares e prerrogativa do consumidor Apreciação propostas (desenvolvida) (alguma) pelos usuários; / financiador (ad hoc, temas prioritários intramuros) (foresight) Ex-post: Só mediante registros (do painéis de especialistas Painéis de especialistas Avaliação tipo ‘gravação de trilha’) estimam valor estratégico e avaliadores profissio- alcançado. Métodos de nais para avaliar o pro- impacto duto e atingimento das metas Fonte:Arie Rip “Societal challenges for R&D evaluation apud Shapira e Kuhlmann (2003)

Avaliação em Ciência, Tecnologia e Inovação e Fundos Setoriais MCT lança Plano de Ação 2007-2010 c

Avaliação em Ciência, Tecnologia e Inovação e Fundos Setoriais Periodização da Política de C,T&I no Plano MCT lançado

Avaliação em Ciência, Tecnologia e Inovação e Fundos Setoriais MCT lança Plano de Ação 2007-2010 c

Avaliação em Ciência, Tecnologia e Inovação e Fundos Setoriais Plano de Ação 2007-2010 pressupõe uma Política de Estado

Avaliação em Ciência, Tecnologia e Inovação e Fundos Setoriais MCT lança Plano de Ação 2007-2010

Avaliação em Ciência, Tecnologia e Inovação e Fundos Setoriais Estimativa dos dispêndios totais em P&D em relação ao PIB

Avaliação em Ciência, Tecnologia e Inovação e Fundos Setoriais Estimativa da evolução dos dispêndios P&D com proporção do PIB (base no modelo econométrico do Estudo da Dimensão territorial dos PPA -Ministério do Planejamento) P&D tem que evoluir + de 50% acima do investimento público e privado Ano PIB Cresc. (%) P&D/PIB P&D total P&D Governo P&D privado 2004 2.176,8 0,83 18,1 10,4 7,7 2005 2.239,9 2,9 0,86 19,3 6,6 11,2 8,1 5,2 2006 2.322,8 3,7 0,90 20,9 8,3 12,1 8,0 8,8 8,6 2007 2.427,3 4,5 1,02 24,8 18,7 14,4 18,6 10,5 18,8 2008 2.548,7 5,0 1,15 29,4 18,5 17,0 12,4 18,2 2009 2.676,1 1,29 34,6 17,6 19,7 15,7 14,9 20,3 2010 2.809,9 1,42 39,8 15,3 22,5 14,2 17,3 16,7

Avaliação em Ciência, Tecnologia e Inovação e Fundos Setoriais Evolução estimada dos recursos totais da União

Avaliação em Ciência, Tecnologia e Inovação e Fundos Setoriais Orçamento MCT Executado (2000-2006) e Projetado (2007-2010) Trajetória recente e evolução estimada dos recursos Notas: não inclui as despesas financeiras e obrigatórias, pessoal e encargos; inclui somente as despesas de OCC (Outros Custeios e Capital) e os recursos da UO 74910 (Recursos sob supervisão do FNDCT) no FNDCT.

Avaliação em Ciência, Tecnologia e Inovação e Fundos Setoriais Trajetória dos recursos do FNDCT

Avaliação em Ciência, Tecnologia e Inovação e Fundos Setoriais O Ciclo de Avaliação de Políticas, Programas e Projetos Policy Review Policy Formulation Programme Conclusions Programme Design Ex-ante Feasibility Evaluation Ex-post /Results Evaluations Ongoing / Mid term Evaluation Programme Implementation Policy Delivery Fonte:Evaluating Socio Economic Development, SOURCEBOOK 1: Themes and Policy Areas: Research, Technological Development and Innovation

Avaliação em Ciência, Tecnologia e Inovação e Fundos Setoriais Ambiente da Avaliação e o CGEE Fonte: CEC/EU DG-Regio 2006

Avaliação em Ciência, Tecnologia e Inovação e Fundos Setoriais Avaliação: experiência do CGEE Objetivos Estatutários (2001) Promover e realizar estudos e pesquisas prospectivas de alto nível na área de ciência e tecnologia e suas relações com setores produtivos; Promover e realizar atividades de avaliação de estratégias e de impactos econômicos e sociais das políticas, programas e projetos científicos e tecnológicos; Compromisso explicitado no Contrato de Gestão Início com atividades de gestão e avaliação dos Fundos (mas foram descontinuadas); Outras atividades de avaliação: Avaliação de aderência dos Fundos Setoriais (concluída); Avaliação das OEPAS – Organizações Estaduais de pesquisa agropecuária (concluída); Avaliação do Programa Antártico brasileiro (concluída 1ª etapa); Avaliação do processo da 1ª Chamada Pública da Subvenção Econômica (concluída); Avaliação do papel das FAPs na execução dos Fundos Setoriais (em curso). Comitê Permanente de Coordenação do Processo de Avaliação dos Fundos Setoriais; Sistema Integrado de Gestão dos Fundos Setoriais- SIG-FS

Avaliação em Ciência, Tecnologia e Inovação e Fundos Setoriais

Avaliação em Ciência, Tecnologia e Inovação e Fundos Setoriais

Avaliação em Ciência, Tecnologia e Inovação e Fundos Setoriais

Avaliação em Ciência, Tecnologia e Inovação e Fundos Setoriais Levantamento sistemático de informações gerenciais (SigFS) Qualitativas: i) deliberações dos comitês, ii) Planos de Investimentos, iii) termos de referência, iv) escopo dos instrumentos (editais/chamadas públicas, encomendas e cartas-convite) Quantitativas: i) dados sobre a demanda bruta e qualificada, ii) dados sobre carteira de projetos contratados; iii) desempenho operacional (tempo entre decisão e operação dos instrumentos), iv) prazo para contratação e desembolso Produção de relatórios e estatísticas organizadas por: Eixo estratégico • Linha e ação Programas • Instrumentos Região e UF

Avaliação em Ciência, Tecnologia e Inovação e Fundos Setoriais Documento do MCT e CGEE propondo aos Comitês dos Fundos uma avaliação sistemática cobrindo todo o ciclo

Avaliação em Ciência, Tecnologia e Inovação e Fundos Setoriais Atividades principais do ciclo completo da Avaliação 1) Aprimoramento do processo de gestão das informações gerenciais dos Fundos Setoriais 2) Acompanhamento e avaliação do processo decisório e operacional Apoio ao planejamento e às estratégias de alocação de recursos 3) Avaliação de resultados e impactos dos Fundos Setoriais Levantamento de informações junto aos coordenadores de projetos Realização de workshops de avaliação

Avaliação em Ciência, Tecnologia e Inovação e Fundos Setoriais Objetivo Estratégico Geral da Avaliação: Aperfeiçoar a estratégia dos Fundos setoriais e melhorar a capacidade de legitimação do instrumento junto aos tomadores de decisão

Avaliação em Ciência, Tecnologia e Inovação e Fundos Setoriais Características gerais dos Fundos Setoriais Novo modelo de financiamento à C,T&I no País (com recursos provenientes de contribuições sobre faturamento das empresas e resultado exploração de recursos minerais Objetivos: Focal: maior comprometimento dos empresários na formulação da agenda, nas decisões de aplicação de recursos e execução dos projetos Empresa como foco da demanda tecnológica Ambiente favorável às parcerias entre governos, ICTs e empresas Estratégias definidas pelos principais atores do setor Difuso: fortalecimento das atividades de C,T&I no País, com ênfase no apoio às inovações nos setores selecionados Infra-estrutura de pesquisa e recursos humanos Desconcentração regional Cooperação

Avaliação em Ciência, Tecnologia e Inovação e Fundos Setoriais Etapas iniciais da Avaliação de Resultados (e impacto) dos Fundos Identificação e organização das informações relativas à operação e execução dos Fundos Definição preliminar da metodologia e do engajamento dos especialistas em Avaliação em C,T&I Diagnósticos das lacunas e deficiências informacionais Detalhamento dos métodos a utilizar e Contratação da bases metodológicas (procedimentos, métodos, indicadores etc.) com os Comitês Gestores do Fundo Montagem de uma base amostral de resultados dos Fundos (Programas e projetos) Parte que varra todos os Fundos cobrindo uma base homogênea de indicadores Parte que trate de indicadores específicos de cada Fundo Estruturação de uma base de informações e indicadores de referência para a Avaliação

Avaliação em Ciência, Tecnologia e Inovação e Fundos Setoriais

Avaliação em Ciência, Tecnologia e Inovação e Fundos Setoriais

Avaliação em Ciência, Tecnologia e Inovação e Fundos Setoriais

Avaliação em Ciência, Tecnologia e Inovação e Fundos Setoriais Primeiras Questões Questões gerais: Quais são os resultados das estratégias e dos projetos de P&D apoiados pelos Fundos? Que impactos tiveram os programas e projetos apoiados pelos Fundos ? Em que medida construímos novo modelo de financiamento à C,T&I no País? Qual tem sido o papel dos Fundos para a definição das estratégias setoriais? Qual tem sido a participação efetiva das empresas nos Fundos? Questões sobre as estratégias da Avaliação: Cobrir todos os Fundos? Quais escolher inicialmente para a avaliação? Priorizar Fundos de maior envergadura financeira? De maior tempo de implementação? De papel mais diversificado no sistema? Como acessar resultados? (Base de dados amostral de resultados e painéis de especialistas) Como mobilizar os atores intervenientes (questionários; entrevistas,outros....)?

Avaliação em Ciência, Tecnologia e Inovação e Fundos Setoriais

Avaliação em Ciência, Tecnologia e Inovação e Fundos Setoriais Quadro síntese por Tipo de Instituição Executora (todos os Fundos) – 1997-2006   CNPq FINEP Total N° PROJETOS VL CONTRATADO (R$) Tipo de Instituição 233 4.000.463,89 141 71.074.705,97 374 75.075.169,86 Academias 8 7.720.114,55 Agências de Fomento 194 2.493.717,62 115 246.835.823,03 309 249.329.540,65 Assoc./Soc. Científicas 160 3.074.888,43 250 34.917.590,33 410 37.992.478,76 Empresa Tecnológica 13 131.646,50 2 533.210,16 15 664.856,66 Empresas Privadas 286 4.364.213,90 77 33.354.953,00 363 37.719.166,90 Ensino Técnico 50 624.500,27 18 4.455.899,16 68 5.080.399,43 Instituição de Ensino Superior 10.930 233.292.271,52 1.882 1.288.148.109,95 12.812 1.521.440.381,47 Instituição de Pesquisa 1.208 30.839.750,96 431 622.973.769,10 1.639 653.813.520,06 Instituição Tecnológica 580 12.210.515,03 307 211.095.397,89 887 223.305.912,92 Museus 1 1.200.000,00 Organização Não-Governam. 138 1.581.697,94 24 6.717.025,73 162 8.298.723,67 Secretarias, Prefeituras 187 3.713.869,96 43 180.429.196,08 230 184.143.066,04 13.979 296.327.536,02 3.299 2.709.455.794,95 17.278 3.005.783.330,97

Avaliação em Ciência, Tecnologia e Inovação e Fundos Setoriais Quadro síntese por Instrumento (todos os Fundos) – 1997-2006   CNPq FINEP Total INSTRUMENTO N° PROJETOS VL CONTRATADO (R$) 20.948 421.891.070,82 1.259 1.028.628.357,69 22.207 1.450.519.428,51 Carta Convite 196 123.042.424,72 Chamada Pública 1.148 759.348.227,82 758.945.524,62 Edital 498 233.423.186,65 Encomenda 623 1.069.022.291,92 Eventos 314 9.651.982,13 4.038 3.223.116.470,93 24.986 3.645.007.541,75

Avaliação em Ciência, Tecnologia e Inovação e Fundos Setoriais

Avaliação em Ciência, Tecnologia e Inovação e Fundos Setoriais Questões sobre variância dos apoios e projetos Questões: A estratégia tem resultado numa maior interação entre as instituições acadêmicas e as empresas na promoção das inovações ? (vide PINTEC- IBGE) Tem havido mudança de atitude na cooperação entre universidades, institutos e empresas?? Projetos financiados na modalidade de ”encomenda” têm atendido melhor seus demandantes? As “ações transversais” têm proporcionado resultados robustos e melhor atendimento aos objetivos da PITCE? Questões sobre as estratégias da Avaliação: Destacar projetos de maior vulto (amostragem certa)? Tratar em separado projetos de menor envergadura (bolsas isoladas, etc.)? Especializar avaliaçõa pela natureza dos instrumentos de contratação? Assegurar cobertura regional adequada (estratificar amostras)?

Avaliação em Ciência, Tecnologia e Inovação e Fundos Setoriais

Avaliação em Ciência, Tecnologia e Inovação e Fundos Setoriais Questões sobre distribuição espacial Questões: A estratégia dos Fundos tem favorecido a capacitação científica e tecnológica das regiões menos favorecidas do País? Quais os fundos que possuem maior ou menor capilaridade espacial? Qual tem sido a participação efetiva das empresas nos Fundos nas diversas regiões? Quão eficaz tem sido o dispositivo legal de aplicação mínima dos recursos nas regiões menos favorecidas? Que arranjo institucional é mais favorável à descentralização sem concessões à qualidade do sistema? Questões sobre as estratégias da Avaliação: Como envolver instâncias subnacionais na avaliação (vide pesquisa FAPs)? Assegurar cobertura regional adequada (estratificar amostras)?

Avaliação OBRIGADO Antonio Carlos F. Galvão agalvao@cgee.org.br Centro de Gestão e Estudos Estratégicos - CGEE