20 de abril de 2016 CT de Gestão Pauta: Lançamento da discussão sobre indicadores de desempenho e de monitoramento das ações desenvolvidas na EPSJV

Breve histórico Ano 2011 →elaboração do Plano Estratégico Plurianual ( ) da EPSJV e de ampla discussão sobre indicadores de monitoramento e avaliação das ações desenvolvidas na EPSJV. Nesse mesmo período → contexto de implementação do componente intermediário (avaliação de desempenho das unidades) da Avaliação de Desempenho na Fiocruz.

Breve histórico Perspectiva para qualificação do sistema de monitoramento No processo de implementação da avaliação de desempenho (ADI) da unidade, o coletivo da Escola que participou da discussão reafirmou a necessidade de que se elencasse um conjunto de indicadores de acompanhamento e avaliação, que não se restringisse ao elemento obrigatório e institucionalizado da ADI.

Fundamento da proposta A implementação do sistema de monitoramento e avaliação da EPSJV tem como objeto e fim a análise do cumprimento dos compromissos assumidos pela Escola com a sociedade, expressos em seu plano estratégico. Espera-se que produza informações que apoiem a tomada de decisão dos profissionais e coordenadores dos setores/laboratórios e da direção, e garanta a transparência dos resultados das ações da instituição.

No entanto... Somente a questão da cesta de indicadores da ADI da EPSJV avançou nos termos propostos. O conjunto de indicadores discutidos para o monitoramento, extra- ADI, não passou por mais rodadas de discussão, o que nos parece ser premente neste ano.

Perspectiva Revisão dos indicadores vigentes, para fins de remuneração e pontuação do desempenho, na ADI da EPSJV → série histórica 2012 – 2015 → análise de pertinência e capacidade desses indicadores mensurarem satisfatoriamente nosso desempenho no âmbito macroinstitucional.

Perspectiva Definição de uma cesta de indicadores para monitoramento e avaliação de distintas ações e projetos desenvolvidos no âmbito da Escola, para composição de um sistema de monitoramento, independente da ADI da Fiocruz.

Dimensões da Avaliação EFICÁCIA Representa o alcance de metas programadas, em um determinado período de tempo, independentemente dos custos/impactos implicados. Os indicadores de eficácia expressam, em geral, a quantidade absoluta ou relativa (%) da meta atingida.

Dimensões da Avaliação EFICIÊNCIA Diz respeito à proporção de recursos consumidos (não somente financeiros) com relação às saídas dos processos (produtos). Em geral, correlacionam recursos utilizados e resultados obtidos. Os indicadores de eficiência são geralmente expressos como custo/eficácia ou custo/benefício.

Dimensões da Avaliação EFETIVIDADE Representa o grau de modificação da situação-problema (desafio) que origina a ação (ex: evasão escolar), ou seja, em que medida a execução das ações, projetos, serviços contribui para reverter aquelas situações. Os indicadores de efetividade servem para avaliar o impacto das ações sobre os problemas ou situações, que geralmente são de médio e longo prazo.

Critérios para análise dos indicadores PERTINÊNCIA O indicador está correlacionado ao fenômeno examinado. Deve-se analisar se o indicador tem potencial para facilitar a avaliação de alguma das dimensões da ação (eficácia, eficiência ou efetividade). Para tanto, o indicador deve possibilitar o estabelecimento de relações do tipo causa-efeito: é possível dizer, através deste indicador, se estamos sendo mais eficientes, efetivos, eficazes nas ações desenvolvidas na EPSJV?

Critérios para análise dos indicadores VIABILIDADE O indicador precisa ser viável, factível, possuir fonte fidedigna de dados, ser mensurável. Por vezes são pensados indicadores pertinentes do ponto de vista conceitual e do que se pretende mensurar, mas não são viáveis do ponto de vista de serem levantados de forma periódica e confiável; pode não existir a fonte de dados necessária à formula do indicador.

Critérios para análise dos indicadores ACESSIBILIDADE As informações necessárias para compor o indicador estão disponíveis ou são possíveis de estar em um curto espaço de tempo. As informações necessárias estão ou poderão estar sob o gerenciamento do(s) laboratório(s) e setor(es) ou da EPSJV? Há necessidade de que estas informações sejam confiáveis e que as fontes de dados sejam acessíveis aos setores responsáveis pelo levantamento destes dados.

Critérios para análise dos indicadores COMPARABILIDADE O indicador possibilita algum tipo de comparação, seja temporal com ele mesmo ou entre organizações congêneres? Exemplo Tempo Médio de Titulação (TMT): indicador que permite comparabilidade com todas as instituições que possuem formação stricto sensu (mestrado e doutorado).

Critérios para análise dos indicadores SIMPLICIDADE O indicador é objetivo, claro e quantificável?

Seleção ou proposição de indicadores 1.EXCLUSÃO Indicada quando o indicador não atende aos critérios anteriormente elencados. 2. MODIFICAÇÃO Indicada quando são propostas alterações na descrição, na dimensão, na fonte de dados ou na fórmula de cálculo do indicador. 3. INCLUSÃO Quando se julgar pertinente a inclusão de outro indicador que não estava previamente descrito. 4. MANUTENÇÃO Quando se julgar pertinente a manutenção de um indicador previamente discutido e analisado.

Metodologia Tendo em vista que a Escola já promoveu uma série de discussões e já possui material rico e propositivo, com mais de 40 indicadores já indicados para composição do sistema de monitoramento, orientamos que, a princípio, nos atenhamos mais à análise coletiva dos indicadores existentes e já consolidados, com proposições, prioritariamente, numa primeira análise, de modificação, manutenção ou exclusão dos indicadores vigentes.