Aplicação do modelo EGIPSS às metas estratégicas do Departamento de DST, Aids e Hepatites Virais Modelo EGIPSS - Avaliação global de integração da performance dos sistemas de saúde Seminário "Avaliação para a melhoria do Sistema Público de Saúde: Perspectivas e Controvérsias“ ENSP/DENSP 06/12/2012

Central de Monitoramento e Avaliação – CM&A Equipe Ruy Burgos Ana Roberta Pascom Elizabeth M Santos Marcela R Arruda Thiago Amorim Artur Sousa Juliana Givisiez

CM&A e avaliação de desempenho Necessidade de fortalecimento das estratégias de gestão eficiente e efetiva dos recursos públicos com necessidade de melhores resultados A redução de padrões e parâmetros de sucesso a alcance de metas estáticas com excessivo foco nos componentes técnicos Descompasso entre as abordagens e modelos de avaliação e as concepções do avaliando (dispositivo de normatização, sistema, rede) Ênfase nas teorias de causação em detrimento das teorias de ação transformadora

Objetivo Aplicar o modelo EGIPSS para avaliação do desempenho das metas estratégicas do Departamento de DST, Aids e Hepatites Virais

Metodologia I Revisão sistemática da literatura explorando a capacidade avaliativa dos modelos de desempenho Definiu-se a capacidade avaliativa como a possibilidade dos modelos de descrever, explicar e julgar os domínios do avaliando, ou seja, a sua potência em modificar o problema (controle de riscos e danos), seus modos de funcionamento (produção, qualidade técnica e custo) e a sua interface interativa com os usuários Identificou-se o EGIPSS como o modelo com maior potência avaliativa

Metodologia II Procedeu-se a classificação das estratégias, marcos intermediários, metas e indicadores do planejamento do DDAHV para o ano de 2012 de acordo com os domínios e alinhamentos previstos no modelo Realizou-se ainda a análise estratégica (documento) a análise lógica e a apreciação normativa, caracterizando-se a implementação e alcance do proposto para cada meta

Modelo EGIPSS Enfatize que os domínios expressam funções de sistemas sociais e que o s alinhamentos descrevem as relações entre as funções

Análise estratégica: Questões Quais são os problemas prioritários a serem resolvidos no período proposto? Existe um modelo causal que ligue as intervenções e a resolução do problema? Existe uma priorização das causas a serem modificadas considerando a governabilidade? A população que a intervenção visa é realmente aquela que sofre os efeitos do problema? Ela é numericamente delimitada? O Plano especifica os parceiros levando em conta o ambiente estratégico, político e institucional da intervenção? O objetivo da análise estratégica é determinar a relevância de uma intervenção, isto é, a adequação entre os objetivos da intervenção e os problemas a serem resolvidos. Essa relevância depende de fatores contextuais e de características do problema, como por exemplo, do perfil epidemiológico do agravo. A priorização dos problemas é determinada por sua importância e capacidade organizacional de agir sobre os mesmos;

Análise lógica: Questões  Existe uma modelização das intervenções? Quais lacunas foram identificadas a partir do processo de modelização? As atividades são tecnicamente suficientes e aplicáveis? As ações e os recursos foram coordenados e alocados conforme as necessidades das atividades? Como foram desenvolvidos os modelos lógicos das atividades? As barreiras e facilitadores foram identificados? A análise lógica consiste em uma etapa do processo avaliativo que tem por objetivo determinar o mérito do modelo operacional que sustenta a intervenção. Mais especificamente, analisa a plausibilidade das hipóteses causais, de intervenção e de interface entre sistema de serviços e usuários, ao mesmo tempo em que analisa a validade operacional, ou seja, se os meios propostos permitem o alcance dos objetivos. Partindo desse pressuposto, cinco questões norteadoras foram elaboradas com a finalidade de orientar a análise lógica do documento de metas estratégicas do DDAHV, a saber:

Análise de produção e implementação: Questões Estamos executando o planejado? Os insumos estão disponíveis para produção de atividades no momento oportuno, em quantidade e com a qualidade necessárias? As atividades são coordenadas, seguem padrões de boas práticas e respondem as necessidades técnicas dos usuários? As atividades se acomodam as necessidades “humanas”dos usuários? A análise de produção e implementação sintetiza a apreciação das relações entre o contexto organizacional e o modo de funcionamento das ações, identificando quanto nos afastamos do planejado e quais as hipóteses plausíveis para explicar esse afastamento os famosos facilitadores e barreiras

RESULTADOS A análise de produção e implementação sintetiza a apreciação das relações entre o contexto organizacional e o modo de funcionamento das ações, identificando quanto nos afastamos do planejado e quais as hipóteses plausíveis para explicar esse afastamento

Análise Estratégica O Documento não contem a metodologia de elaboração e não há referencia a critérios de priorização de problemas ou de causas a serem resolvidos no período proposto As metas estratégicas incorporadas ao documento expressam as relações com parceiros e não necessariamente aquelas específicas do Departameto

Análise Estratégica Quadro 1. Distribuição das atividades segundo domínios e alinhamentos Domínios Alinhamentos AIDS-SUS Agenda Estratégica Outros Total Alcance de objetivos e metas e produção e coordenação Tático 32 31 7 70 Adaptação e manutenção e criação de valores Contextual 2 5 9 16 Adaptação e produção e coordenação Alocativo 10 4 14 Adaptação e alcance de objetivos e metas Estratégico 24 1 25 Manutenção e criação de valores e alcance de objetivos e metas Legitimação 8   68 48 17 133

Classificação dos marcos intermediários por domínio e alinhamento Marco intermediário Domínio Alinhamento Desfecho de sucesso Testes rápido para HIV adquiridos e distribuídos. Produção e coordenação e alcance de objetivo tático Convergência entre aquisição, distribuição e dispensação Multiplicadores em testagem rápida capacitados. Populações vulneráveis de capitais com acesso à testagem ampliado. Manutenção e criação de valores e alcance de objetivo legitimação Convergência entre missão e estratégia específica para população alvo Acesso à testagem pela população em geral ampliado. Adaptação e produção alocativo Consistência entre metas, plano de implementação e execução financeira Capital das regiões sul e sudeste com pelo menos um CTA de Referência para atendimento para as populações HSH e travesti estabelecidas

Análise Estratégica Metas referem-se aos domínios de adequação, produção/ coordenação e alcance de objetivos (alinhamentos estratégicos e táticos) Destaca-se a pouca relevância dada a legitimação, alocação e alinhamento contextual Não há uma meta sequer para o alinhamento operacional (Valores e Produção/coordenação)

Análise Lógica Intervenções são propostas sem modelização As metas não se integram entre si e não espelham o conjunto das atividades do Departamento Tratadas isoladamente as metas evidenciam ausência de marcos intermediários chaves Lembre que a análise lógica foi feita pela modelização e aplicação da retroanálise

Objetivo estratégico Metas Indicador de resultado Problema: Elevada proporção de indivíduos com diagnóstico tardio da infecção pelo HIV/aids. Pressuposto: O diagnóstico precoce da infecção pelo HIV/aids está associado ao melhor prognóstico, reduzindo a transmissão, a mortalidade e contribuindo para a melhoria da qualidade de vida. Objetivo estratégico Redução do diagnóstico tardio de HIV/aids Metas Reduzir em 10%, passando de 34% para 31% em 2011. (Linha de Base 2010: 34% (cd4<200)) Marco intermediário Testes rápido para HIV adquiridos e distribuídos. (Milhões) Marco intermediário Multiplicadores em testagem rápida capacitados. Marco intermediário Populações vulneráveis de capitais com acesso à testagem ampliado. Marco intermediário Acesso à testagem pela população em geral ampliado. Marco intermediário Capital das regiões sul e sudeste com pelo menos um CTA de Referência para atendimento para as populações HSH e travesti estabelecidas Indicadores de produção Número de convênio com os produtores nacionais em execução acompanhados. Número de testes rápidos para os estados distribuídos conforme demanda. Número de testes rápido distribuídos para as capitais de forma descentralizada conforme demanda. Monitoramento da distribuição de testes rápidos aos Estados. Indicadores de produção Número (460) de multiplicadores em TR e Aconselhamento para Atenção Básica capacitados. Projeto pedagógico de educação permanente para teste rápido e aconselhamento nas 27 UF elaborado. Manual de Implicações Éticas em Aconselhamento revisado. Número de profissionais da rede capacitados por meio do EaD em Aconselhamento. TELELAB atualizado e ampliado Número de manuais de utilização de testes rápidos para HIV elaborado e atualizado. Indicadores de produção Número (4 para 12 capitais) da estratégia de testagem "Quero Fazer" ampliado. Portaria de serviços e fortalecimento dos CTA localizados nas capitais publicada. Edital de serviços para adequação de estrutura e ações extramuro em CTA elaborado conforme Portaria. Indicadores de produção Estratégia de testagem "Fique Sabendo" ampliada. Indicadores de produção Estratégia para validação da proposta de programa de promoção e atenção à saúde para HSH e Travestis soronegativas pelos Coordenadores de DST/Aids de estados e capitais apresentado. Protocolos para abordagem à populações vulneráveis elaborado. Linhas de cuidado para populações vulneráveis elaboradas. Necessidade de adequação da estrutura dos CTA identificada. Monitoramento e Avaliação. Indicador de resultado Nº de indivíduos com diagnósticos tardio de HIV/aids reduzido em 10%, passando de 34% para 31%.

Objetivo estratégico Metas Indicador de resultado Problema: Elevada proporção de indivíduos com diagnóstico tardio da infecção pelo HIV/aids. Pressuposto: O diagnóstico precoce da infecção pelo HIV/aids está associado ao melhor prognóstico, reduzindo a transmissão, a mortalidade e contribuindo para a melhoria da qualidade de vida. Objetivo estratégico Redução do diagnóstico tardio de HIV/aids Metas Reduzir em 10%, passando de 34% para 31% em 2011. (Linha de Base 2010: 34% (cd4<200)) Marco intermediário Testes CD4 adquiridos e distribuídos. (Milhões) Marco intermediário Recursos humanos a capacitados. Marco intermediário Redes laboratorial de capitais implementadas Marco intermediário Acesso ampliados à testagem de CD4 para pessoas com resultado positivo para HIV/aids Marco intermediário Monitoramento de aquisição, distribuição e qualidade dos lotes Indicadores de produção Número de teste de CD4 adquiridos Número de teste CD4 distribuídos para estados e capitais Proporção de estados e capitais com desabastecimento de teste de CD4 Indicadores de produção Número de laboratórios com técnicos capacitadas na testagem CD4 Número de capacitações na testagem CD4 realizadas . Número de técnicos capacitados na testagem CD4 Indicadores de produção Aumento na oferta de serviços de testagem de CD4 Indicadores de produção Aumento do grau de sensibilização da população sobre a testagem de CD4 Aumento do grau de conhecimento da população sobre o local e funcionamento dos serviços que realizam a testagem Número de CD4 realizados Aumento da cobertura de testagem de CD4 Indicadores de produção Aquisição e distribuição de testes CD4 monitorados Número de lotes de testes adquiridos com qualidade verificada Proporção de teste de CD4 com data de validade vencida Indicador de resultado Nº de indivíduos com diagnósticos tardio de HIV/aids reduzido em 10%, passando de 34% para 31%.

Análise de produção e implementação:

Meta: Diagnóstico tardio da infecção pelo HIV reduzido em 10% Marco Intermediário Atividades Realização da atividade Teste rápido para HIV adquiridos e distribuídos Acompanhamento da execução do convênio com os produtores nacionais Sim Distribuição de TR para os Estados conforme demanda Descentralização do TR para as capitais conforme demanda Não Monitoramento da distribuição de testes rápidos aos Estados Multiplicadores em testagem rápida capacitados Capacitar 460 multiplicadores em TR e aconselhamento para Atenção Básica Elaboração de projeto pedagógico de educação permanente para teste rápido e aconselhamento nas 27 UF Revisão do Manual de Implicações Éticas em Aconselhamento Capacitação de profissionais da rede através do EaD em Aconselhamento Atualização e ampliação do TELELAB Elaboração e atualização de manuais de utilização de testes rápidos para HIV

Meta: Diagnóstico tardio da infecção pelo HIV reduzido em 10% Marco Intermediário Atividades Realização da atividade Capitais com acesso à testagem pelas populações vulneráveis ampliada Ampliação da estratégia de testagem quero fazer de 4 para 12 capitais Não Publicação da Portaria de serviços e fortalecimento dos CTA localizados nas capitais Elaboração de edital de serviços para adequação de estrutura e ações extramuro em CTA conforme Portaria Acesso à testagem pela população geral ampliado Ampliação da estratégia de testagem “Fique sabendo” Sim Capitais das regiões sul e sudeste com pelo menos um CTA de referência para atendimento para as populações HSH e travesti estabelecidas Apresentação da estratégia para validação da proposta de programa de promoção e atenção à saúde para HSH e Travestis soronegativos pelos Coordenadores de DST/Aids de estados e capitais Elaboração de protocolos para abordagem a populações vulneráveis Elaboração das linhas de cuidado para populações vulneráveis Identificar necessidade de adequação da estrutura dos CTA Monitoramento e Avaliação

Meta: Diagnóstico tardio da infecção pelo HIV reduzido em 10% Percentual de alcance da meta: 107% Grau de implementação das atividades: 47,4% Previsto Alcançado 31% 29%

Meta: Diagnóstico tardio da infecção pelo HIV reduzido em 10% Barreiras: Falta do insumo e/ou produção intermitente Baixa coordenação entre aquisição e distribuição (estados/capitais) Diversidade e baixa qualidade no controle logístico incluindo monitoramento das perdas Rotatividade de profissionais Capacitação pouco adequada às necessidades específicas do sistema Baixa cultura de monitoramento como ferramenta de gestão Lentidão dos processos de liberação/certificação de teste de CD4 Baixo follow-up de HIV positivos referenciados para testagem de CD4 Falta do protocolo de atividades do “Fique Sabendo” Capacitação pouco adequada às necessidades específicas da estratégia “Quero Fazer” Baixa conexão das comunidades gays e travestis com os serviços de saúdes locais Baixa sustentabilidade das ONG   Recomendações: Monitoramento da produção de insumos para prever possíveis desabastecimentos Assessoria direta do Departamento junto aos estados para fomentar o ajuste entre as necessidades de aquisição e distribuição Aperfeiçoamento do controle logístico Adequação das capacitações as necessidades específicas do sistema

Grau de alcance das metas por área do DDAHV segundo PME-2012 Coordenação Meta proposta Meta informada Meta executada Alcance (%) Cuidado e Qualidade de Vida (CQV) 17 - Direitos Humanos, Risco e Vulnerabilidade (DHRV) 60 41 24 58,5 Sustentabilidade, Gestão e Cooperação (SGC) 56 21 37,5 Total 133 97 45 46,4

Análise de produção e implementação O instrumento de monitoramento se restringia às atividades das metas propostas e era de fácil preenchimento (sim ou não), ainda assim 28% delas não foram preenchidas O grau de implementação das metas estratégicas foi de 46,4%, considerado insatisfatório

Considerações Finais A análise estratégica evidencia consistência parcial, a análise lógica e a caracterização dos mecanismos de implementação sugerem inconsistências para execução das estratégias Essas evidências podem estar relacionadas à ênfase dada à gestão por resultados no âmbito federal, coerente a uma estratégia de implementação de dispositivos de normatização, contraposta ao planejamento estratégico sistêmico

marcela.arruda@aids.gov.br Tel: (61) 3315-8930 Obrigada! marcela.arruda@aids.gov.br Tel: (61) 3315-8930