Metodologia de avaliação da qualidade dos dados da imunização [ DQS]( Data quality self-assessment ) [1] - [Eduardo S. Ponce Maranhão – o ppt](Grupo de.

Apresentação em tema: "Metodologia de avaliação da qualidade dos dados da imunização [ DQS]( Data quality self-assessment ) [1] - [Eduardo S. Ponce Maranhão – o ppt](Grupo de."— Transcrição da apresentação:

1 Metodologia de avaliação da qualidade dos dados da imunização [ DQS]( Data quality self-assessment ) [1] - [Eduardo S. Ponce Maranhão – o ppt](Grupo de apoio ao PAI-PNI e APS na Ensp- Fiocruz 2004 A metodologia da avaliação da qualidade dos dados da imunização foi criada pela OMS para avaliar diferente aspectos da imunização “ o sistema de monitoramento” O monitoramento da imunização se refere a medida rotineira da cobertura de vacinação e outros indicadores do programa. Esta metodologia foi adaptada da metodologia de auditoria da qualidade dos dados ( Data Quality Audit) [DQA] que foi desenvolvida dentro da referencia do GAVI ( Global Alliance for Vaccines and Immunization) Os objetivos do DQS são: avaliar a qualidade, a oportunidade e a confiabilidade(accuracy) dos dados produzidos pelo sistema de monitoramento da imunização do país O DQS necessita ser flexível. Ajuda os gerentes a identificar problemas e propor recomendações para melhoria da informação do programa O DQS é para ser usado pelo pessoal que coleta e utiliza os dados de imunização nos níveis central nacional, estadual / provincial, regional, local

2 2 O grupo de avaliação define: os parâmetros que serão avaliados, desenvolvem os questionários, conduzem a avaliação em campo[no terreno], analisam os achados, e propõem as recomendações O grupo de avaliação inclui: Pessoal de atenção primária de saúde Epidemiologistas regionais e locais, Enfermeiros de saúde pública, Estatísticos, Gerentes do programa de imunização, Outros gerentes de níveis + altos do sistema

3 3 É necessário se descrever o Sistema de Monitoramento de Imunização do país avaliado Os 3 componentes gerais do DQS são: A qualidade do sistema de monitoramento -- -> é avaliado usando questionários desenhados pelo grupo avaliador A confiabilidade(accuracy) dos dados é avaliada comparando os dados disponíveis nos formulários[fichas] de coleta de dados dos diferentes níveis do sistema Dados diários das vacinas administradas nas unidades de saúde são comparados com dados agregados notificados do nível local e estadual /provincial e os dados disponíveis no nível central nacional. A periodicidade do envio dos dados é avaliado verificando quando as unidades notificaram ou receberam os informes de dados registrados, encaminhados e ou recebidos

4 O sistema de monitoramento de um país [4] Geralmente fornece a imunização através do Programa de imunização[PAI / PNI] O Programa se realiza através de muitas unidades de saúde[Centros,Postos, Hospitais] que se distribuem nas áreas de saúde e regiões de saúde O Programa de imunização usa um sistemas computadorizado( no Brasil o API) para o registro de doses de vacinas administradas Este sistema de registro da vacinação tem sido implementado em todas ou em várias regiões ou áreas, e nas unidades primárias de saúde O PAI / PNI é o provedor geral das imunizações, ( em alguns países a área materno-infantil ou vigilância epidemiológica ou em saúde é a entidade coordenadora/ regulatória) Administrativamente, em geral o programa está organizado em municípios, regiões e áreas de saúde Cada área, ou município recebe os dados de imunização de suas unidades de saúde e de instituições privadas. A área ou município consolida a informação e conduz a análise adequada Toda a informação sobre cobertura está estratificada por distrito ou município de residência

5 Sistema de monitoramento da qualidade da imunização [5] Os aspectos(componentes) avaliados incluem : A qualidade dos registros e prática de arquivamento A analise dos dados O planejamento A capacitação[treinamento] A supervisão Um formulário[formato] específico é desenhado para cada nível do sistema de saúde( unidades de saúde, hospital, área ou região, município) Os questionários são desenhados para respostas dicotômicas e para o escore de acordo com pontos [sistema de pontuação] Dividindo o escore obtido para cada local visitado(US) pelo escore máximo possível para cada componente se obtém o Índice de Qualidade Para se dispor de Índices de Qualidade, para os componentes avaliados, expressos em porcentagem e facilitar a comparação entre os níveis equivalentes( unidades de saúde,áreas, regiões,municípios). Utilizam-se os gráficos radares[pode-se usar o MS-Excel]  apresentar o gráfico

6 Confiabilidade do dado[Data Accuracy) [6] Para avaliar a “acurácia” do dado Os dados disponíveis nos níveis local são comparados com os dados encontrados nas áreas de saúde ou municípios [SMSs] com os dados dos níveis regional/estadual[SESs] e do nível central nacional [MS-PNI] quando possível A razão de acurácia ( Accuracy ratio), expressa como uma percentagem é usada como medida de acurácia do dado Esta razão é : No de doses de vacina, verificadas ou contadas no nível local dividida pelo No de doses de vacina informadas ao nível + alto, multiplicado por cem Ex: razão de acurácia[razão de exatidão] de dados enviados por uma unidade de saúde = No de doses DPT3 ( crianças<1ano) registradas durante um determinado mês / No de doses DPT3(crianças <1ano) encontrada nos informes daquela unidade de saúde da área ou município[SMSs] no mesmo mês X 100

7 Oportunidade(periodicidade) [ 8 ] Dados são coletados para avaliar a oportunidade(periodicidade). Para se considerar o informe dentro da oportunidade( periodicidade), se estabelece o momento[deadlines] no mês para informar ao nível superior Este componente só pode ser avaliado quando a data de envio ou a data do registro está presente

8 Confiabilidade dos dados (Data Accuracy) [7] Obs:Se verificamos que nem todas as doses informadas ao nível superior podem ser verificadas no nível inferior, o coeficiente de acurácia será <100%, Indicando uma sobre-informação(over-reporting) Isto seria o caso se + doses são encontradas na região [ou município] do que as registradas nas unidades sanitárias ou na unidade sanitária em questão Do mesmo modo, se + doses são encontradas nos informes diários de uma unidade de saúde, que numa área de saúde, região ( ou município), o coeficiente de acurácia será >100% indicando uma sub-informação(under-reporting) * Obs: A agregação dos coeficientes de acurácia( no mesmo nível) para se obter um coeficiente de um distrito ou município, província ou estado é possível ponderando[dando o peso] de acordo com o tamanho da população.Entretanto, a agregação deve ser feita com cuidado, pois o resultado pode falsamente sugerir dados de acurácia tendendo simultaneamente p/ sobre e sub-informação

9 Implementação do DQS [8] O DQS está dividido em 3 estágios: 1. Oficina inicial  O grupo de avaliação dedica os primeiros 3 dias da avaliação para definir o escopo (abrangência) da avaliação Desenvolve os questionários,formulários,formatos[quadros, tabelas] que serão testados em campo( para ver como eles funcionam) A metodologia DQS utiliza amostragem aleatória ou seleção de conveniência das unidades locais Obs: geralmente os locais selecionados se baseiam em critérios logísticos e outras considerações práticas

10 Implementação [9] 2.Trabalho de campo  Durante os 3 dias seguintes, os grupos(times) visitam regiões, ou municípios(SMSs), Unidades Sanitárias[centros, postos de saúde, hospitais, instituições privadas que oferecem vacinação) 3.Oficina de Análise  Durante os últimos 2 dias, cada grupo(time) analisa os achados e apresentam aos outros grupos(times) Um resumo dos achados gerais e as recomendações propostas são apresentadas as autoridades nacionais [ estaduais ] no final dos trabalhos

11 Os resultados [10] Um informe final com os resultados detalhados e recomendações é preparado e distribuído a todo o pessoal relevante e para todos os locais visitados. Os resultados são apresentados com os aspectos fortes e aspectos fracos de cada nível

12 Questões padrão para avaliar a qualidade do sistema de monitoramento Componentes: Registro (distrito/município) Arquivamento (distrito/município) Arquivamento computadorizado (distrito/município) Informe[notificação] ( distrito/ município) Informação demográfica (distrito/município) Resultados centrais/ análises ( distrito/município) Evidencia do uso dos dados para ação (distrito/município) Registro ( U.S) Informe[notificação]( U.S) Arquivamento (U.S) Informação demográfica (U.S) Resultados centrais / análises (U.S) Evidencia do uso dos dados para ação (U.S)

13 Países onde foi realizado o DQS Congo Indonésia Tanzânia Moçambique Bulgária Tunísia Lao Nepal Na América: Costa Rica Nicarágua Haiti

14 Referências WHO-The immunization data quality self-assessment(DQS)tool.,2004 PAHO-Immunization Data Quality Self-assessment: The Costa Rica Experience.; Immunization Newsletter- Vol XXVIII, number 1-Feb 2006 O. Ronveaux; D.Rickert;S Handler;H.Groom;. Contrôle de la qualité des données de vaccination: vérification de la qualité et de la cohérence de systèmes de vaccinovigilance –Bull.World Health Organ vol.83 no.7 Genebra July 2005

15 EX: resultados gerais –Costa Rica[resumo] Um informe final com resultados detalhados e com recomendações foi preparado e distribuído para todos os grupos de interesse relevantes( stakeholders) e para todos os locais visitados. Os resultados foram apresentados com os aspectos fortes e aspectos fracos de cada nível. Entretanto, a consolidação dos resultados foi difícil devido a aspectos fortes encontrados em alguns lugares e fracos em outros Também, a seleção dos locais não foi aleatória, restringindo a possibilidade de generalizar o encontrado Olhando a qualidade do sistema de monitoramento da imunização, aspectos fortes e fracos foram encontrados em cada nível. Em geral, as práticas de registro e arquivamento foram adequadas a todos os níveis, com exceções em alguns hospitais nacionais e instituições privadas. A forma de registro primário de doses diárias não inclui a variável “sexo”( embora esta é capturada no sistema computadorizado SISVAC, em muitas USs ) E os grupos de idade não incluem a categoria de pessoas > 65 anos, limitando a capacidade de monitorar o impacto sazonal da vacinação influenza, no calendário de vacinação desde 2004

16 Ex:Costa Rica(continuação) As áreas para verificar o melhoramento da utilização do SISVAC foram identificadas Os dados de análise da imunização são produzidos em todos os níveis Entretanto, a análise é geralmente restrita as vacinas BCG,OPV3,DTP3 e MMR 1, relacionada ao uso de indicadores como taxas de abandono é limitado  No de crianças que receberam a 1*dose – No de crianças que receberam a 3* dose / No de crianças que recebem 1 dose X 100 Os dados são apresentados em gráficos e mapas As atividades de imunização são sempre incluídas no planejamento e treinamento/capacitação e tópicos do sistema de qualidade de dados são considerados Entretanto, o apoio ao nível + alto de coleta e informe[notificação] assim como o uso do SISVAC, é fraco A supervisão do componente informação é incipiente, geralmente limitado a avaliação do período da data de transmissão dos dados [ oportunidade] Verificando os dados de acurácia [confiabilidade] a legislação da Costa Rica coloca como compulsória a notificação das doses de vacina administradas para todos os provedores de vacinas a população Entretanto, sub-notificação foi verificada em muitos hospitais e instituições privadas Em 1 hospital onde foi possível quantificar a notificação incompleta [ sub-notificação]as razões de exatidão( r. de acurácia) chegaram a, 141% BCG; 143% Hepatite B; representando 41 % e 43% de sub-notificação[notificação incompleta] respectivamente

17 Ex:Costa Rica(continuação) As regiões não recebem informes com a quantidade de todas as doses administradas nas suas áreas de saúde Não existe mecanismos padrões para gerenciar a notificação de pessoas que recebem a vacinas fora do seu distrito de residência Doses de vacinas administradas a não residentes não puderam ser monitoradas Quanto ao período de notificação, muito lugares visitados registram dados e recebem notificação e informes Atrasos foram encontrados, a maioria em hospitais Dados notificados[informados] tardiamente podem aumentar o risco de sub-notificação