FUNDAÇÃO OSWALDO CRUZ VICE-PRESIDÊNCIA DE DESENVOLVIMENTO INSTITUCIONAL, INFORMAÇÃO E COMUNICAÇÃO DIRETORIA DE PLANEJAMENTO ESTRATÉGICO COORDENAÇÃO DE.

Apresentação em tema: "FUNDAÇÃO OSWALDO CRUZ VICE-PRESIDÊNCIA DE DESENVOLVIMENTO INSTITUCIONAL, INFORMAÇÃO E COMUNICAÇÃO DIRETORIA DE PLANEJAMENTO ESTRATÉGICO COORDENAÇÃO DE."— Transcrição da apresentação:

1 FUNDAÇÃO OSWALDO CRUZ VICE-PRESIDÊNCIA DE DESENVOLVIMENTO INSTITUCIONAL, INFORMAÇÃO E COMUNICAÇÃO DIRETORIA DE PLANEJAMENTO ESTRATÉGICO COORDENAÇÃO DE MONITORAMENTO, AVALIAÇÃO E CONTROLE INSTITUCIONALIZAÇÃO DA POLÍTICA DE MONITORAMENTO E AVALIAÇÃO DO DESEMPENHO DA FIOCRUZ DIPLAN - III Coletivo de Dirigentes - 30/09/2004

2 DIPLAN - III Coletivo de Dirigentes - 30/09/2004
Monitoramento e avaliação no âmbito da Fiocruz Monitoramento: Processo de acompanhar de modo sistemático e contínuo todos os componentes do plano estratégico durante a sua implementação, através do manejo de informações de forma ágil e oportuna. Avaliação: Implica em realizar um julgamento de valor a respeito da implementação do plano estratégico da Fiocruz (PPA Fiocruz), em termos de eficácia, eficiência e efetividade, com o objetivo de fundamentar e alimentar o processo de tomada de decisão do controle do plano. DIPLAN - III Coletivo de Dirigentes - 30/09/2004

3 1. MELHORIA DO PROCESSO DECISÓRIO
Importância do monitoramento e avaliação 1. MELHORIA DO PROCESSO DECISÓRIO Cumpre os compromissos assumidos sobre os objetivos e metas? Quais as causas do êxito ou do fracasso das ações realizadas? É necessário modificar os objetivos e metas estabelecidos? Há necessidade de ações corretivas para melhorar a eficácia, eficiência e efetividade Qual o impacto dos resultados sobre a saúde da população e o sistema social e econômico? DIPLAN - III Coletivo de Dirigentes - 30/09/2004

4 TRANSPARÊNCIA E VISIBILIDADE.
Importância do monitoramento e avaliação TRANSPARÊNCIA E VISIBILIDADE. PRESTAÇÃO DE CONTAS: Corpos deliberativos internos (Congresso Interno, CD, etc.) Órgãos de Planejamento (MS, MP, MEC, MCT) Órgãos de Cooperação Financeira (CNPq, FINEPE, outros) Controle Social (CNS, etc.) Órgãos de Controle Externo (TCU) DIPLAN - III Coletivo de Dirigentes - 30/09/2004

5 DIPLAN - III Coletivo de Dirigentes - 30/09/2004
Diretrizes do sistema de monitoramento e avaliação 1º) Toda informação gerada deve servir para tomada de decisão. 2º) O sistema de monitoramento e avaliação não é para “avaliadores” ou “planejadores”; só há avaliação consistente com o envolvimento dos gestores, em todos os níveis de execução. 3º) Não há monitoramento e avaliação sem plano. DIPLAN - III Coletivo de Dirigentes - 30/09/2004

6 DIPLAN - III Coletivo de Dirigentes - 30/09/2004
Planejamento, monitoramento e avaliação na Fiocruz DIPLAN - III Coletivo de Dirigentes - 30/09/2004

7 DIPLAN - III Coletivo de Dirigentes - 30/09/2004
Desafios para institucionalização do sistema de monitoramento e avaliação 1. Exigência de um modelo teórico que explicite como se espera que o programa exerça sua influência ; 2. Exigência de dispositivos institucionais que estruturem o processo de monitoramento e avaliação, garantindo a qualidade e a validade deste processo. (Hartz, 1999) DIPLAN - III Coletivo de Dirigentes - 30/09/2004

8 DIPLAN - III Coletivo de Dirigentes - 30/09/2004
Desafios metodológicos e político-institucionais na Fiocruz Definição de critérios e parâmetros de avaliação que dêem conta da complexidade da Fiocruz. Conhecimento do grau de implementação das ações do PPA previamente (“Baseline”) Integração das diferentes Unidades da Fiocruz para compor um olhar global sobre o desempenho das ações do PPA Fiocruz Necessidade de envolvimento institucional para tornar a avaliação válida (risco de avaliações externas não internalizadas). Superar a lógica da prestação de contas com base exclusiva na “produtividade”. DIPLAN - III Coletivo de Dirigentes - 30/09/2004

9 DIPLAN - III Coletivo de Dirigentes - 30/09/2004
Tabela 1 - Demonstrativo da execução física da Fiocruz 2002 % alcance Metas 2002** Produto 2002 2001 Publicação indexada 722 724 238 16 56 390 6 82 60 74 40 50 Publicação não indexada 162 Autoria de livro 26 Capítulo de livro 90 Conferência em eventos científicos 641 Patentes concedidas 4 * Fonte: Relatórios de gestão 2001 e 2002 ** Percentuais fictícios DIPLAN - III Coletivo de Dirigentes - 30/09/2004

10 DIPLAN - III Coletivo de Dirigentes - 30/09/2004
Modelo lógico dos programas do PPA Fiocruz Reconstituir a lógica dos programas permite rever os laços estabelecidos entre os elementos implicados na formulação do Plano Estratégico, desde o desafio ou situação-problema a ser resolvida, até os resultados esperados com as ações. Permite pensar as informações e indicadores necessários para monitorar e avaliar os elementos que constituem o Plano Estratégico. DIPLAN - III Coletivo de Dirigentes - 30/09/2004

11 DIPLAN - III Coletivo de Dirigentes - 30/09/2004
Modelo lógico do programa C&T em Saúde Situação problema Inadequação tecnológica; dependência de importação; preços elevados; baixa oferta à população; afastamento entre a temática das pesquisas e as necessidades de saúde da pop.; carência de atividades de pesquisa... Componentes (Ações do PPA) DTIS Pesquisas clínicas, epidemiológicas... Objetivos de curto/ médio prazos Colocar novos insumos de saúde no mercado... Ampliar o conhecimento sobre o processo saúde-doença-intervenção Produtos Fármacos, reagentes, vacinas desenvolvidos... Pesquisas realizadas, pesquisas publicadas... % de produtos colocados no mercado em relação ao total de projetos executados Indicadores eficácia % de pesquisas publicadas em relação ao programado Indicadores eficiência Custo médio por pesquisa realizada Custo por produto Redução da dependência externa; aumento do acesso da população a bens/ produtos de saúde; maior articulação entre as pesquisas realizadas e os problemas de saúde da população... Resultados esperados Indicadores efetividade Índice de substituição de importações de insumos/produtos de saúde % pesquisas publicadas em consonância com a Agenda Nacional de PS DIPLAN - III Coletivo de Dirigentes - 30/09/2004

12 DIPLAN - III Coletivo de Dirigentes - 30/09/2004
Dispositivos institucionais para a estruturação do Sistema de Monitoramento e Avaliação na Fiocruz Produtos, indicadores e parâmetros Fontes e fluxos de informação Níveis/Espaços de discussão/decisão Incentivos ao desempenho DIPLAN - III Coletivo de Dirigentes - 30/09/2004

13 DIPLAN - III Coletivo de Dirigentes - 30/09/2004
Dispositivos institucionais para a estruturação do Sistema de Monitoramento e Avaliação na Fiocruz Produtos, indicadores e parâmetros Programa: Educação permanente e qualificação profissional para o SUS Ação: Formação de Recursos Humanos em Educação Profissional e de Pós-Graduação Stricto e Lato Senso, em saúde Macroprocesso Produtos Subprodutos Realização de cursos de pós-graduação stricto sensu 1-Curso oferecido -Cursos de Mestrado acadêmico -Cursos de Mestrado profissionalizante -Cursos de Doutorado -Egresso de Mestrado acadêmico -Egresso de Mestrado profissionalizante -Egresso de Doutorado 2- Egresso DIPLAN - III Coletivo de Dirigentes - 30/09/2004

14 DIPLAN - III Coletivo de Dirigentes - 30/09/2004
Dispositivos institucionais para a estruturação do Sistema de Monitoramento e Avaliação na Fiocruz Produtos, indicadores e parâmetros Programa: Ciência e Tecnologia em Saúde Ação: Pesquisas clínicas, epidemiológicas e em ciências biológicas, humanas e sociais aplicadas à saúde Macroprocesso Produtos Subprodutos -Projeto submetido a avaliação interna -Projeto submetido a avaliação externa nacional -Projeto submetido a avaliação externa internacional -Projeto aprovado -Projeto aprovado nacional -Projeto aprovado internacional Elaboração, realização e avaliação de projetos de pesquisa 1-Projeto submetido a avaliação 2-Pesquisa Realizada -Etapa de pesquisa concluída por linha de pesquisa -Pesquisa realizada por linha de pesquisa 3-Publicações -Publicação em revista indexada -Publicação em revista não indexada -Publicação em anais de congressos, etc -Publicação em livro -Publicação na WEB DIPLAN - III Coletivo de Dirigentes - 30/09/2004

15 DIPLAN - III Coletivo de Dirigentes - 30/09/2004
Dispositivos institucionais para a estruturação do Sistema de Monitoramento e Avaliação na Fiocruz Produtos, indicadores e parâmetros Programa: Atenção Especializada em Saúde Ação: Atenção de referência a gestantes de alto risco, crianças e adolescentes com patologias de alta complexidade e a portadores de doenças infecciosas Macroprocesso Produtos Subprodutos Atendimento ambulatorial 1-Procedimento ambulatorial realizado -Consulta amb. realizada por médico -Consulta amb. realizada p/ outro prof. -Exame realizado -Atividade de grupo realizada -Criança e adolescente atendidos -Mulher atendida -Gestante de alto risco atendida -Portador de doença infecciosa atendida 2-Paciente atendido em nível ambulatorial DIPLAN - III Coletivo de Dirigentes - 30/09/2004

16 DIPLAN - III Coletivo de Dirigentes - 30/09/2004
Dispositivos institucionais para a estruturação do Sistema de Monitoramento e Avaliação na Fiocruz Produtos, indicadores e parâmetros Programa: Ciência e Tecnologia em Saúde Ação: Desenvolvimento Tecnológico em Saúde Pública Macroprocesso Produtos Subprodutos Elaboração, realização e avaliação de projetos de DTSP Processo/ método de saúde pública desenvolvido -Etapa de desenv. de método de análise de produto desenvolvida -Etapa de desenv. de protocolo clínico desenvolvido -Tecnologia em Educação e Saúde desenvolvida -Patente depositada -Patente aprovada -Produto patenteado Patente DIPLAN - III Coletivo de Dirigentes - 30/09/2004

17 DIPLAN - III Coletivo de Dirigentes - 30/09/2004
Dispositivos institucionais para a estruturação do Sistema de Monitoramento e Avaliação na Fiocruz Produtos, indicadores e parâmetros Indicadores: São formas de representação mensurável de características de estruturas, resultados, processos ou impactos, utilizados para acompanhar e avaliar uma ação estratégica ao longo do tempo. DIPLAN - III Coletivo de Dirigentes - 30/09/2004

18 DIPLAN - III Coletivo de Dirigentes - 30/09/2004
Dispositivos institucionais para a estruturação do Sistema de Monitoramento e Avaliação na Fiocruz Produtos, indicadores e parâmetros Tipos de indicadores: Indicadores da Eficácia: Medem o grau de alcance das metas programadas, em um determinado período de tempo, independentemente dos custos/impactos implicados. Estes indicadores expressam, em geral, a quantidade absoluta ou relativa (%) da meta atingida. % de produtos/ insumos tecnológicos produzidos em relação ao número de projetos submetidos a avaliação DIPLAN - III Coletivo de Dirigentes - 30/09/2004

19 DIPLAN - III Coletivo de Dirigentes - 30/09/2004
Dispositivos institucionais para a estruturação do Sistema de Monitoramento e Avaliação na Fiocruz Produtos, indicadores e parâmetros Tipos de indicadores: Indicadores de Eficiência: Medem a proporção de recursos consumidos com relação às saídas dos processos (produtos). Em geral, contrapõem recursos utilizados e resultados obtidos. Os indicadores de eficiência são geralmente expressos como custo/eficácia ou custo/benefício. Custo médio por produto DIPLAN - III Coletivo de Dirigentes - 30/09/2004

20 DIPLAN - III Coletivo de Dirigentes - 30/09/2004
Dispositivos institucionais para a estruturação do Sistema de Monitoramento e Avaliação na Fiocruz Produtos, indicadores e parâmetros Tipos de indicadores: Indicadores de Efetividade: Objetivam medir o grau de modificação da situação-problema (desafio) que deu origem à ação estratégica. % de egressos do curso técnico profissionalizante que se inseriram no mercado de trabalho no primeiro ano DIPLAN - III Coletivo de Dirigentes - 30/09/2004

21 DIPLAN - III Coletivo de Dirigentes - 30/09/2004
Dispositivos institucionais para a estruturação do Sistema de Monitoramento e Avaliação na Fiocruz Produtos, indicadores e parâmetros Parâmetros: Levarão em conta: Metas do Governo; comparação com padrões de referência internacionais; comparação com padrões de referência nacionais; metas definidas internamente pela Fiocruz; desempenho anterior. DIPLAN - III Coletivo de Dirigentes - 30/09/2004

22 DIPLAN - III Coletivo de Dirigentes - 30/09/2004
Dispositivos institucionais para a estruturação do Sistema de Monitoramento e Avaliação na Fiocruz Fontes e fluxos de informação Sistema Integrado de Informação Gerencial (SIIG) Fiolattes SIGA DIPLAN - III Coletivo de Dirigentes - 30/09/2004

23 DIPLAN - III Coletivo de Dirigentes - 30/09/2004
Dispositivos institucionais para a estruturação do Sistema de Monitoramento e Avaliação na Fiocruz Níveis/Espaços de discussão/decisão Departamentos Unidades Diretoria Executiva Presidência/ CD Congresso Interno DIPLAN - III Coletivo de Dirigentes - 30/09/2004

24 DIPLAN - III Coletivo de Dirigentes - 30/09/2004
Dispositivos institucionais para a estruturação do Sistema de Monitoramento e Avaliação na Fiocruz Níveis/Espaços de processamento de informações Analistas subsetoriais Diplan Sistema de Planejamento Coordenadores de Ação Câmaras Técnicas DIPLAN - III Coletivo de Dirigentes - 30/09/2004

25 DIPLAN - III Coletivo de Dirigentes - 30/09/2004
Dispositivos institucionais para a estruturação do Sistema de Monitoramento e Avaliação na Fiocruz Incentivos ao desempenho Prêmio Fiocruz de Excelência em Gestão Institucional DIPLAN - III Coletivo de Dirigentes - 30/09/2004

26 DIPLAN - III Coletivo de Dirigentes - 30/09/2004
O desafio do monitoramento e avaliação... As coisas são o que parecem ser; Ou não são e nem parecem ser; Ou são e não parecem ser; Ou não são e mesmo assim parecem ser. Identificar esses casos É a tarefa do homem sábio * Epictetus II DC, apud Fletcher et al. Epidemiologia Clínica, 1989 DIPLAN - III Coletivo de Dirigentes - 30/09/2004