Ferramenta de Avaliação de Rotina da Qualidade de Dados (ARQD) MEASURE Evaluation Outra forma de avaliar a qualidade dos dados é realizar uma auditoria da qualidade dos dados.

Evolução da ferramenta ARQD Ferramenta de Auditoria de Qualidade de Dados criada pelo Projeto do Fundo Global, MEASURE Evaluation, outros parceiros Objetivo de avaliar a qualidade de dados para financiamentos baseados em desempenho Utiliza a metodologia GAVI DQA(AQD) para avaliar a exatidão de dados de cobertura de imunização Técnica de Amostragem por Conglomerados Estimativa de qualidade de dados a nível nacional Dois componentes: 1) Verificação de dados 2) Avaliação do sistema Programas/projetos expressaram a necessidade de uma ferramenta para utilizar como auto-avaliação, capacitação e preparação para auditorias externas

AVALIAÇÃO DA QUALIDADE DE DADOS FERRAMENTA DE AUDITORIA DA QUALIDADE DE DADOS (AQD) FERRAMENTA DE AVALIAÇÃO DE ROTINA DA QUALIDADE DE DADOS (ARQD)

Utilização das versões de Auditoria e Auto-Avaliação/Rotina Versão Auditoria… Versão Auto-Avaliação... Avaliação pela agência financiadora Método padrão para implementação Realizada pela equipa de auditoria externa Limitada participação do Programa/Projeto nas recomendações feitas Simplificada, com base na versão de auditoria Utilização flexível pelo programa, equipa de IE (Informação Estratégica) para monitorar e supervisionar ou em preparação para uma auditoria externa Auto-avaliação, pelo programa, do seu próprio sistema de M&A O programa elabora e implementa o seu próprio plano de ação A equipa de IE pode monitorar a qualidade dos dados entre os parceiros num país

Objectivos da ARQD OBJETIVOS: VERIFICAR rapidamente 1) a qualidade dos dados divulgados em referência aos indicadores chave nos centros selecionados; e 2) a capacidade dos sistemas de gestão de dados para recolher, gerir e divulgar dados de qualidade. IMPLEMENTAR medidas através de planos de ação adequados para reforçar o sistema de gestão e divulgação de dados e melhorar a qualidade dos dados. MONITORAR o melhoramento da capacidade e do desempenho do sistema de gestão e divulgação de dados, para produzir dados de qualidade.

Modelo Conceitual de ARQD Dados de Qualidade Unidade de M&A N í veis Intermedi á rios de Agrega ç ão (Ex: Distritos, Regiões) Pontos de Servi o Gestão de Dados e Sistema de Relat ó rios Í VEIS DE RELAT Ó RIOS Dimensões da Qualidade (Anexo 1, Quadro 1) Exactidão, Totalidade, Fiabilidade, Pontualidade, Confidencialidade, Precisão, Integridade Capacidades, Fun ões e Responsabilidades de M&A Forma Requisitos de Divulga ão dos Dados Defini ões de Indicadores Fomul rios/Ferramentas para Recolha e Divulga Processos de Gestão de Dados Mecanismos e controlos da Qualidade dos Dados Liga ões com o sistema nacional de relat I II III IV V VI VII VIII Componentes Funcionais Necess rios de um Sistema de Gestão de Dados para Assegurar a Qualidade dos Dados (Anexo 1, Quadro 2) Exatidão, Totalidade, Fiabilidade, Pontualidade,

Funções da ARQD A ARQD foi concebida para ter flexibilidade em sua utilização e pode desempenhar várias funções: Verificações de rotina da qualidade de dados como parte de uma supervisão contínua de apoio Avaliações iniciais e de seguimento dos sistemas de gestão e divulgação de dados – medição das melhorias de desempenho no decorrer do tempo: Fortalecimento da capacidade técnica dos profissionais do programa em gestão e divulgação de dados: Preparação para uma auditoria formal da qualidade de dados· Avaliações externas realizadas por parceiros, outros intervenientes

Etapas de implementação Normalmente, a ARQD pode ser implementada em seis etapas: Identificar o objetivo da ARQD Selecionar os níveis e centros a serem incluídos Identificar indicadores, fontes de dados e período dos relatórios. Realizar visitas aos pontos de prestação de serviço / centros. Examinar os resultados e as conclusões. Elaborar um plano de reforço do sistema, incluindo medidas de seguimento.

Cronologia e etapas da ARQD PREPARAÇÃO FASE 1 IMPLEMENTAÇÃO FASE 2 PLANO DE AÇÃO FASE 3 SEGUIMENTO FASE 4 2. Definir os indicadores, as fontes de dados e o período 5. Verificar os dados 4. Avaliar o sistema de gestão de dados 1. Definir a abrangência da AQD 3. Identificar e notificar aos pontos de prestação de serviço 6. Resumir as conclusões e elaborar o plano de ação 7. Implementar as atividades e realizar o seguimento A implementação é realizada na Unidade de M&A, nos pontos de prestação de serviços e nos níveis intermediários de agregação, dependendo da abrangência da AQD

Exemplo: Seleção de indicadores DOENÇA INDICADORES PERÍODO DO RELATÓRIO VIH/SIDA Número de pacientes a tomar ARV Período de 3 meses [1-Nov-05 / 31-Jan-06] Valores nacionais Tuberculose O número de casos de TB com escarro positivo registados em DOTS, os quais tenham sido tratados com êxito Período de 3 meses [1-Out-04 31-Dez-04] Malária Número de mosquiteiros tratados com insecticida (MTI) distribuídos (ou seja, o número de cupões resgatados) Período de 6 meses [1-Nov-2005 / 30-Abr-2006] Valores divulgados para o Fundo Global

Metodologia da ARQD Verificação de dados Análise de documentação Recontagem dos resultados – rastrear e verificar Verificações cruzadas – comparar com fontes de dados alternativos Desempenho na divulgação de dados Pontualidade, totalidade, disponibilidade (nível intermediário e superior) Avaliação do sistema Há elementos de estrutura implementados para assegurar a qualidade dos dados divulgados?

Metodologia da ARQD Componente de verificação de dados Unidade de Gestão de M&A Pontos de Prestação de Serviços / Organizações Níveis Intermediários de Agregação (ex., Distrito, Região) Rastrear e verificar os dados referentes aos indicadores Rastrear e verificar os resultados divulgados OBJETIVO: Avaliar em escala limitada se os Pontos de Prestação de Serviços e os Centros Intermediários de Agregação estão a recolher e divulgar dados de forma precisa e pontual. A etapa de verificação de dados ocorre em dois estágios: Verificações aprofundadas nos Pontos de Prestação de Serviços; e Verificações de seguimento nos Níveis Intermediários de Agregação (Distritos, Regiões) e na Unidade de M&A.

Verificação de dados da ARQD Centro de Prestação de Serviços 5 Relatório mensal No. ARV 50 Centro de Prestação de Serviços 6 200 Documento-Fonte 1 Distrito 1 CPS 1 45 CPS 2 20 TOTAL 65 Distrito 4 CPS 5 CPS 6 250 Distrito 3 CPS 4 75 Unidade de M&A/Nacional 435 ILUSTRAÇÃO Centro de Prestação de Serviços 3 Centro de Prestação de Serviços 4 Centro de Prestação de Serviços 1 Centro de Prestação de Serviços 2 Distrito 2 CPS 3 Este gráfico mostra visualmente que o protocolo de rastreamento e verificação começa com dados ao nível da prestação de serviços (num posto de saúde ou num programa comunitário) e como os dados são “rastreados” até ao “nível intermediário de agregação” (neste caso, um distrito) e, em seguida, ao Nível da Unidade de M&A (neste caso, a nível nacional).

Pontos de Prestação de Serviços – Verificação de Dados PONTO DE PRESTAÇÃO DE SERVIÇOS - TIPOS DE VERIFICAÇÃO DE DADOS Verificações Descrição - Verificação no. 1: Análise da documentação Examinar se os documentos-fonte de todos os indicadores estão disponíveis e completos para o período do relatório selecionado. Em todos os casos Verificação no. 2: Verificação de dados Rastrear e verificar os números divulgados: (1) Recontar os valores divulgados com base nos documentos-fonte disponíveis; (2) Comparar os valores verificados aos valores divulgados pelo centro; (3) Identificar os motivos de eventuais diferenças. Verificação no. 3: cruzadas Realizar “verificações cruzadas” entre os totais verificados do relatório e outras fontes de dados (ex. registos de stock, relatórios de laboratório, etc.). Se for viável Ao nível da prestação de serviços, estas cinco verificações são realizadas como parte do protocolo de rastreamento e verificação.

Verificação de Dados - ARQD

Metodologia de ARQD Componente de Avaliação do Sistema Unidade de Gestão de M&A Pontos de Prestação de Serviços / Organizações Níveis Intermediários de Agregação (ex., Distrito, Região) Avaliação do sistema de gestão e divulgação de dados Avaliar o sistema de gestão e divulgação de dados OBJETIVO: Identificar potenciais riscos à qualidade dos dados criados pelo sistema de gestão e divulgação de dados em: Unidade de Gestão de M&A; Pontos de Prestação de Serviços; Qualquer Nível Intermediário de Agregação (Distrito ou Região). A ARQD avalia tanto (1) a concepção; como (2) a implementação do sistema de gestão e divulgação de dados. A avaliação abrange 8 áreas funcionais (RH, Formação, Processos de Gestão de Dados, etc.)

Áreas Funcionais de um Sistema de M&A que afetam a qualidade dos dados QUESTÕES DE AVALIAÇÃO DO SISTEMA POR ÁREA FUNCIONAL Áreas funcionais Exemplos de Questões I Capacidades, funções e responsabilidades de M&A 1 Os profissionais de M&A e gestão de dados estão identificados e com suas responsabilidades claramente atribuídas? II Formação 2 A maioria dos principais profissionais de M&A e gestão de dados recebeu formação necessária? III Requisitos para divulgação de dados 3 O Programa/Projeto documentou claramente (por escrito) o que é divulgado e a quem, para além de como e quando a divulgação é necessária? IV Definições de indicadores 4 Há definições de indicadores operacionais que atendam aos padrões pertinentes e são seguidas sistematicamente por todos os pontos de prestação de serviços? V Formulários / Ferramentas para recolha e divulgação de dados 5 Há formulários padronizados de recolha e divulgação de dados que sejam utilizados sistematicamente? 6 Os documentos-fonte são mantidos e disponibilizados em conformidade com uma política escrita?

Áreas funcionais de um Sistema de M&A que afetam a qualidade dos dados VI Processos de gestão de dados 7 Há documentação clara das etapas de recolha, agregação e manipulação dos dados? VII Mecanismos e controlos de qualidade de dados 8 Os problemas de qualidade de dados estão identificados e há mecanismos para resolvê-los? 9 Há procedimentos claramente definidos e seguidos para identificar e conciliar discrepâncias nos relatórios? 10 Há procedimentos claramente definidos e seguidos para a verificação periódica dos dados - fonte? VIII Ligações com o Sistema Nacional de Divulgação de Dados 11 O sistema de recolha e divulgação de dados do Programa/Projeto está ligado ao Sistema Nacional de Divulgação de Dados?

Avaliação do Sistema de ARQD

Resultados da ARQD 1- Solidez do Sistema de M&A, avaliação baseada numa revisão do sistema de gestão e divulgação de dados do programa/projeto, incluindo respostas para as questões resumidas gerais sobre a qualidade da concepção e implementação do sistema; 2- Fatores de verificação gerados no exercício de recontagem de rastreamento e verificação realizado com os registos primários e/ou relatórios agregados (ou seja, o razão entre o valor recontado do indicador e o valor relatado); 3- Relatórios disponíveis, pontuais e completos percentagens calculadas no Nível Intermediário de Agregação e na Unidade de M&A; 4- Plano de ação para reforçar o sistema em cada nível avaliado.

Estatísticas resumidas da ARQD – Painel do Nível Específico Estes gráficos mostram as estatísticas resumidas que são geradas automaticamente pelo protocolo de rastreamento e verificação da ferramenta de auditoria da qualidade de dados. Mostram, em referência ao período do relatório e indicador auditados: Factor de verificação (comparação entre os dados recontados e os dados divulgados) Disponibilidade dos relatórios Pontualidade dos relatórios Totalidade dos relatórios

Estatísticas Resumidas de ARQD – Painel Global Estes gráficos mostram as estatísticas resumidas que são geradas automaticamente pelo protocolo de rastreamento e verificação da ferramenta de auditoria da qualidade de dados. Mostram, em referência ao período do relatório e indicador auditados: Factor de verificação (comparação entre os dados recontados e os dados divulgados) Disponibilidade dos relatórios Pontualidade dos relatórios Totalidade dos relatórios

Resultado da ARQD - Plano de Ação para Fortalecer o Sistema

Ilustração – Conclusões sobre os sistemas na Unidade de M&A (VIH/SIDA) NÍVEL DE DIVULGAÇÃO DE DADOS CONCLUSÕES RECOMENDAÇÕES Unidade de M&A Nacional Não há nenhuma documentação que especifique as funções e responsabilidades de gestão de dados, cronogramas de divulgação de dados, formulários padronizados, política de armazenamento… Desenvolver um manual de gestão de dados a ser distribuído para todos os níveis de divulgação Incapacidade de verificar os valores divulgados pela Unidade de M&A em virtude da excessiva falta de relatórios (dos Pontos de Prestação de Serviços) (67%) Arquivar sistematicamente todos os relatórios dos Pontos de Prestação de Serviços Elaborar normas sobre como lidar com relatórios em falta ou incompletos A maioria dos relatórios recebidos pela Unidade de M&A não são assinados por nenhum funcionário ou gestor do Ponto de Prestação de Serviços Enfatizar a necessidade de realizar uma revisão documentada dos dados apresentados – por exemplo, não aceitando relatórios não revistos

NÍVEL DE DIVULGAÇÃO DE DADOS CONCLUSÕES RECOMENDAÇÕES Nível Intermediário de Agregação Impossibilidade de acessar aos documentos-fonte (ou seja, relatórios dos Pontos de Prestação de Serviços) referentes a um determinado período Melhorar o processo de armazenamento de documentos-fonte, identificando claramente o documento-fonte armazenado por data Pontos de prestação de serviços’’ Confusão acerca da definição do que venha a ser um paciente “perdido para seguimento” (3 meses para o Hospital Temeke; 2 meses para o Hospital Iringa). A Unidade de M&A deve comunicar claramente, para todos os pontos de prestação de serviços, a definição de um paciente “perdido para seguimento” Os pontos de prestação de serviços não removem sistematicamente pacientes “perdidos para seguimento” das contagens de pessoas que estão a receber ART Elaborar um mecanismo para assegurar que os pacientes “perdidos para seguimento” sejam removidos sistematicamente das contagens de pessoas que estão a receber ART Nos casos de "centros satélites", o sistema de divulgação de dados e os documentos-fonte nem sempre identificam a localização de um paciente Elaborar um sistema de codificação que identifique claramente o local de tratamento de um paciente, para que se possa fazer a verificação dos dados

Principais fatores de êxito para a qualidade dos dados Sistemas de informação eficientes Definição dos indicadores clara e utilizada com uniformidade em todos os níveis Descrição das funções e responsabilidades em todos os níveis Cronogramas específicos de divulgação de dados Formulários / ferramentas de recolha e divulgação de dados padronizados / compatíveis, com instruções claras Procedimentos de revisão de dados documentados, a serem executados em todos os níveis Procedimentos para resolver problemas de qualidade de dados (dados em falta, contagem repetida, pacientes perdidos para seguimento…) Política de armazenamento e práticas de preenchimento que permitam a recuperação de documentos para fins de auditoria

PREPARAÇÃO: Finalidade da documentação solicitada 1 Lista de pontos de prestação de serviços com os resultados mais recentes Para ajudar a selecionar os pontos de prestação de serviço a serem visitados. 2 Descrição do sistema de divulgação de dados Para compreender como os dados são registados e divulgados pelos Pontos de Prestação de Serviços para a Unidade de M&A. 3 Modelos de formulários Para familiarizar a Equipa de Avaliação com os formulários e relatórios a serem examinados. 4 Outros documentos Para possibilitar o entendimento da concepção do Sistema de Gestão e Divulgação de Dados.

Algumas Experiências com a ARQD Nigéria Quénia Tanzânia Costa do Marfim Guiana Haiti Moçambique

Exercício Em pares analisem os dados dos relatórios e utilizem a ferramenta ARQD – Parte 1 Verificação de Dados para o nível intermediário e Unidade de M&A. Calcule os índices quanto a: Fator de Verificação Disponibilidade Pontualidade e Relatórios Completos

Visite-nos on-line em http://www.cpc.unc.edu/measure. A MEASURE Evaluation é financiada pela Agência de Desenvolvimento Internacional dos EUA (USAID) por meio do Acordo de Cooperação GHA-A-00-08-00003-00 e é implementada pelo Centro Populacional da Carolina, Universidade da Carolina do Norte, em parceria com Futures Group, John Snow, Inc., Macro International Inc., Management Sciences for Health, e Tulane University. Visite-nos on-line em http://www.cpc.unc.edu/measure.