A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Ferramenta de Avaliação de Rotina da Qualidade de Dados (ARQD) MEASURE Evaluation.

Apresentações semelhantes


Apresentação em tema: "Ferramenta de Avaliação de Rotina da Qualidade de Dados (ARQD) MEASURE Evaluation."— Transcrição da apresentação:

1 Ferramenta de Avaliação de Rotina da Qualidade de Dados (ARQD) MEASURE Evaluation

2  Ferramenta de Auditoria de Qualidade de Dados criada pelo Projeto do Fundo Global, MEASURE Evaluation, outros parceiros  Objetivo de avaliar a qualidade de dados para financiamentos baseados em desempenho  Utiliza a metodologia GAVI DQA(AQD) para avaliar a exatidão de dados de cobertura de imunização  Técnica de Amostragem por Conglomerados  Estimativa de qualidade de dados a nível nacional  Dois componentes: 1) Verificação de dados 2) Avaliação do sistema  Programas/projetos expressaram a necessidade de uma ferramenta para utilizar como auto-avaliação, capacitação e preparação para auditorias externas Evolução da ferramenta ARQD

3 AVALIAÇÃO DA QUALIDADE DE DADOS FERRAMENTA DE AUDITORIA DA QUALIDADE DE DADOS (AQD) FERRAMENTA DE AVALIAÇÃO DE ROTINA DA QUALIDADE DE DADOS (ARQD)

4 Versão Auditoria …  Avaliação pela agência financiadora  Método padrão para implementação  Realizada pela equipa de auditoria externa  Limitada participação do Programa/Projeto nas recomendações feitas Versão Auto-Avaliação...  Simplificada, com base na versão de auditoria  Utilização flexível pelo programa, equipa de IE (Informação Estratégica) para monitorar e supervisionar ou em preparação para uma auditoria externa  Auto-avaliação, pelo programa, do seu próprio sistema de M&A  O programa elabora e implementa o seu próprio plano de ação  A equipa de IE pode monitorar a qualidade dos dados entre os parceiros num país Utilização das versões de Auditoria e Auto-Avaliação/Rotina

5 Objectivos da ARQD OBJETIVOS: VERIFICAR rapidamente 1) a qualidade dos dados divulgados em referência aos indicadores chave nos centros selecionados; e 2) a capacidade dos sistemas de gestão de dados para recolher, gerir e divulgar dados de qualidade. IMPLEMENTAR medidas através de planos de ação adequados para reforçar o sistema de gestão e divulgação de dados e melhorar a qualidade dos dados. MONITORAR o melhoramento da capacidade e do desempenho do sistema de gestão e divulgação de dados, para produzir dados de qualidade.

6 Modelo Conceitual de ARQD

7 A ARQD foi concebida para ter flexibilidade em sua utilização e pode desempenhar várias funções:  Verificações de rotina da qualidade de dados como parte de uma supervisão contínua de apoio  Avaliações iniciais e de seguimento dos sistemas de gestão e divulgação de dados – medição das melhorias de desempenho no decorrer do tempo:  Fortalecimento da capacidade técnica dos profissionais do programa em gestão e divulgação de dados:  Preparação para uma auditoria formal da qualidade de dados·  Avaliações externas realizadas por parceiros, outros intervenientes Funções da ARQD

8 Normalmente, a ARQD pode ser implementada em seis etapas:  Identificar o objetivo da ARQD  Selecionar os níveis e centros a serem incluídos  Identificar indicadores, fontes de dados e período dos relatórios.  Realizar visitas aos pontos de prestação de serviço / centros.  Examinar os resultados e as conclusões.  Elaborar um plano de reforço do sistema, incluindo medidas de seguimento. Etapas de implementação

9 PREPARAÇÃO FASE 1 IMPLEMENTAÇÃO FASE 2 PLANO DE AÇÃO FASE 3 SEGUIMENTO FASE 4 2. Definir os indicadores, as fontes de dados e o período 5. Verificar os dados 4. Avaliar o sistema de gestão de dados 1. Definir a abrangência da AQD 3. Identificar e notificar aos pontos de prestação de serviço 6. Resumir as conclusões e elaborar o plano de ação 7. Implementar as atividades e realizar o seguimento A implementação é realizada na Unidade de M&A, nos pontos de prestação de serviços e nos níveis intermediários de agregação, dependendo da abrangência da AQD Cronologia e etapas da ARQD

10 DOENÇAINDICADORESPERÍODO DO RELATÓRIO VIH/SIDA 1.Número de pacientes a tomar ARV Período de 3 meses [1-Nov-05 / 31-Jan-06] Valores nacionais Tuberculose 2.O número de casos de TB com escarro positivo registados em DOTS, os quais tenham sido tratados com êxito Período de 3 meses [1-Out Dez-04] Valores nacionais Malária 3.Número de mosquiteiros tratados com insecticida (MTI) distribuídos (ou seja, o número de cupões resgatados) Período de 6 meses [1-Nov-2005 / 30-Abr- 2006] Valores divulgados para o Fundo Global Exemplo: Seleção de indicadores

11  Verificação de dados  Análise de documentação  Recontagem dos resultados – rastrear e verificar  Verificações cruzadas – comparar com fontes de dados alternativos  Desempenho na divulgação de dados  Pontualidade, totalidade, disponibilidade (nível intermediário e superior)  Avaliação do sistema  Há elementos de estrutura implementados para assegurar a qualidade dos dados divulgados? Metodologia da ARQD

12 ■OBJETIVO: Avaliar em escala limitada se os Pontos de Prestação de Serviços e os Centros Intermediários de Agregação estão a recolher e divulgar dados de forma precisa e pontual. ■A etapa de verificação de dados ocorre em dois estágios: -Verificações aprofundadas nos Pontos de Prestação de Serviços; e -Verificações de seguimento nos Níveis Intermediários de Agregação (Distritos, Regiões) e na Unidade de M&A. Rastrear e verificar os dados referentes aos indicadores Unidade de Gestão de M&A Pontos de Prestação de Serviços / Organizações Níveis Intermediários de Agregação (ex., Distrito, Região) Rastrear e verificar os resultados divulgados Metodologia da ARQD Componente de verificação de dados

13 Verificação de dados da ARQD Centro de Prestação de Serviços 5 Relatório mensal No. ARV50 Centro de Prestação de Serviços 6 Relatório mensal No. ARV200 Documento- Fonte 1 Distrito 1 Relatório mensal CPS 145 CPS 220 TOTAL65 Distrito 4 Relatório mensal CPS 550 CPS 6200 TOTAL250 Distrito 3 Relatório mensal CPS 475 TOTAL75 Unidade de M&A/Nacional Relatório mensal Distrito 165 Distrito 375 TOTAL435 Distrito 4250 ILUSTRAÇÃO Centro de Prestação de Serviços 3 Relatório mensal No. ARV45 Documento- Fonte 1 Centro de Prestação de Serviços 4 Relatório mensal No. ARV75 Documento- Fonte 1 Centro de Prestação de Serviços 1 Relatório mensal No. ARV45 Documento- Fonte 1 Centro de Prestação de Serviços 2 Relatório mensal No. ARV20 Documento- Fonte 1 Distrito 2 Relatório mensal CPS 345 TOTAL45 Distrito 245

14 PONTO DE PRESTAÇÃO DE SERVIÇOS - TIPOS DE VERIFICAÇÃO DE DADOS VerificaçõesDescrição- Verificação n o. 1: Análise da documentação Examinar se os documentos-fonte de todos os indicadores estão disponíveis e completos para o período do relatório selecionado. Em todos os casos Verificação n o. 2: Verificação de dados Rastrear e verificar os números divulgados: (1) Recontar os valores divulgados com base nos documentos-fonte disponíveis; (2) Comparar os valores verificados aos valores divulgados pelo centro; (3) Identificar os motivos de eventuais diferenças. Em todos os casos Verificação n o. 3: Verificações cruzadas Realizar “verificações cruzadas” entre os totais verificados do relatório e outras fontes de dados (ex. registos de stock, relatórios de laboratório, etc.). Se for viável Pontos de Prestação de Serviços – Verificação de Dados

15 Verificação de Dados - ARQD

16

17 Avaliação do sistema de gestão e divulgação de dados Unidade de Gestão de M&A Pontos de Prestação de Serviços / Organizações Níveis Intermediários de Agregação (ex., Distrito, Região) Avaliar o sistema de gestão e divulgação de dados ■OBJETIVO: Identificar potenciais riscos à qualidade dos dados criados pelo sistema de gestão e divulgação de dados em: -Unidade de Gestão de M&A; -Pontos de Prestação de Serviços; -Qualquer Nível Intermediário de Agregação (Distrito ou Região). ■A ARQD avalia tanto (1) a concepção; como (2) a implementação do sistema de gestão e divulgação de dados. ■A avaliação abrange 8 áreas funcionais (RH, Formação, Processos de Gestão de Dados, etc.) Metodologia de ARQD Componente de Avaliação do Sistema

18 QUESTÕES DE AVALIAÇÃO DO SISTEMA POR ÁREA FUNCIONAL Áreas funcionaisExemplos de Questões I Capacidades, funções e responsabilidades de M&A 1 Os profissionais de M&A e gestão de dados estão identificados e com suas responsabilidades claramente atribuídas? II Formação 2 A maioria dos principais profissionais de M&A e gestão de dados recebeu formação necessária? III Requisitos para divulgação de dados 3 O Programa/Projeto documentou claramente (por escrito) o que é divulgado e a quem, para além de como e quando a divulgação é necessária? IV Definições de indicadores 4 Há definições de indicadores operacionais que atendam aos padrões pertinentes e são seguidas sistematicamente por todos os pontos de prestação de serviços? V Formulários / Ferramentas para recolha e divulgação de dados 5 Há formulários padronizados de recolha e divulgação de dados que sejam utilizados sistematicamente? 6 Os documentos-fonte são mantidos e disponibilizados em conformidade com uma política escrita? Áreas Funcionais de um Sistema de M&A que afetam a qualidade dos dados

19 VI Processos de gestão de dados 7 Há documentação clara das etapas de recolha, agregação e manipulação dos dados? VII Mecanismos e controlos de qualidade de dados 8 Os problemas de qualidade de dados estão identificados e há mecanismos para resolvê-los? 9 Há procedimentos claramente definidos e seguidos para identificar e conciliar discrepâncias nos relatórios? 10 Há procedimentos claramente definidos e seguidos para a verificação periódica dos dados - fonte? VIII Ligações com o Sistema Nacional de Divulgação de Dados 11 O sistema de recolha e divulgação de dados do Programa/Projeto está ligado ao Sistema Nacional de Divulgação de Dados? Áreas funcionais de um Sistema de M&A que afetam a qualidade dos dados

20 Avaliação do Sistema de ARQD

21 1- Solidez do Sistema de M&A, avaliação baseada numa revisão do sistema de gestão e divulgação de dados do programa/projeto, incluindo respostas para as questões resumidas gerais sobre a qualidade da concepção e implementação do sistema; 2- Fatores de verificação gerados no exercício de recontagem de rastreamento e verificação realizado com os registos primários e/ou relatórios agregados (ou seja, o razão entre o valor recontado do indicador e o valor relatado); 3- Relatórios disponíveis, pontuais e completos percentagens calculadas no Nível Intermediário de Agregação e na Unidade de M&A; 4- Plano de ação para reforçar o sistema em cada nível avaliado. Resultados da ARQD

22 Estatísticas resumidas da ARQD – Painel do Nível Específico

23 Estatísticas Resumidas de ARQD – Painel Global

24 Resultado da ARQD - Plano de Ação para Fortalecer o Sistema

25 NÍVEL DE DIVULGAÇÃO DE DADOS CONCLUSÕESRECOMENDAÇÕES Unidade de M&A Nacional  Não há nenhuma documentação que especifique as funções e responsabilidades de gestão de dados, cronogramas de divulgação de dados, formulários padronizados, política de armazenamento…  Desenvolver um manual de gestão de dados a ser distribuído para todos os níveis de divulgação  Incapacidade de verificar os valores divulgados pela Unidade de M&A em virtude da excessiva falta de relatórios (dos Pontos de Prestação de Serviços) (67%)  Arquivar sistematicamente todos os relatórios dos Pontos de Prestação de Serviços  Elaborar normas sobre como lidar com relatórios em falta ou incompletos  A maioria dos relatórios recebidos pela Unidade de M&A não são assinados por nenhum funcionário ou gestor do Ponto de Prestação de Serviços  Enfatizar a necessidade de realizar uma revisão documentada dos dados apresentados – por exemplo, não aceitando relatórios não revistos ILUSTRAÇÃO Ilustração – Conclusões sobre os sistemas na Unidade de M&A (VIH/SIDA)

26 NÍVEL DE DIVULGAÇÃO DE DADOS CONCLUSÕESRECOMENDAÇÕES Nível Intermediário de Agregação  Impossibilidade de acessar aos documentos-fonte (ou seja, relatórios dos Pontos de Prestação de Serviços) referentes a um determinado período  Melhorar o processo de armazenamento de documentos-fonte, identificando claramente o documento- fonte armazenado por data Pontos de prestação de serviços’’  Confusão acerca da definição do que venha a ser um paciente “perdido para seguimento” (3 meses para o Hospital Temeke; 2 meses para o Hospital Iringa).  A Unidade de M&A deve comunicar claramente, para todos os pontos de prestação de serviços, a definição de um paciente “perdido para seguimento”  Os pontos de prestação de serviços não removem sistematicamente pacientes “perdidos para seguimento” das contagens de pessoas que estão a receber ART  Elaborar um mecanismo para assegurar que os pacientes “perdidos para seguimento” sejam removidos sistematicamente das contagens de pessoas que estão a receber ART  Nos casos de "centros satélites", o sistema de divulgação de dados e os documentos-fonte nem sempre identificam a localização de um paciente  Elaborar um sistema de codificação que identifique claramente o local de tratamento de um paciente, para que se possa fazer a verificação dos dados

27 Principais fatores de êxito para a qualidade dos dados 1. Sistemas de informação eficientes 2. Definição dos indicadores clara e utilizada com uniformidade em todos os níveis 3. Descrição das funções e responsabilidades em todos os níveis 4. Cronogramas específicos de divulgação de dados 5. Formulários / ferramentas de recolha e divulgação de dados padronizados / compatíveis, com instruções claras 6. Procedimentos de revisão de dados documentados, a serem executados em todos os níveis 7. Procedimentos para resolver problemas de qualidade de dados (dados em falta, contagem repetida, pacientes perdidos para seguimento…) 8. Política de armazenamento e práticas de preenchimento que permitam a recuperação de documentos para fins de auditoria

28 PREPARAÇÃO: Finalidade da documentação solicitada Para ajudar a selecionar os pontos de prestação de serviço a serem visitados. Lista de pontos de prestação de serviços com os resultados mais recentes 1 Para possibilitar o entendimento da concepção do Sistema de Gestão e Divulgação de Dados. Para familiarizar a Equipa de Avaliação com os formulários e relatórios a serem examinados. Para compreender como os dados são registados e divulgados pelos Pontos de Prestação de Serviços para a Unidade de M&A. Descrição do sistema de divulgação de dados 2 Modelos de formulários 3 Outros documentos 4

29 Algumas Experiências com a ARQD  Nigéria  Quénia  Tanzânia  Costa do Marfim  Guiana  Haiti  Moçambique

30 Exercício Em pares analisem os dados dos relatórios e utilizem a ferramenta ARQD – Parte 1 Verificação de Dados para o nível intermediário e Unidade de M&A. Calcule os índices quanto a: Fator de Verificação Disponibilidade Pontualidade e Relatórios Completos

31 A MEASURE Evaluation é financiada pela Agência de Desenvolvimento Internacional dos EUA (USAID) por meio do Acordo de Cooperação GHA-A e é implementada pelo Centro Populacional da Carolina, Universidade da Carolina do Norte, em parceria com Futures Group, John Snow, Inc., Macro International Inc., Management Sciences for Health, e Tulane University. Visite-nos on-line em


Carregar ppt "Ferramenta de Avaliação de Rotina da Qualidade de Dados (ARQD) MEASURE Evaluation."

Apresentações semelhantes


Anúncios Google