Avaliação de Testes Diagnósticos Métodos de Investigação Epidemiológica em Doenças Transmissíveis

Avaliação de Testes Diagnósticos Delinear e analisar estudos para avaliar a reprodutibilidade e determinar a validade de um teste diagnóstico Conceitos Chave: Reprodutibilidade Validade Sensibilidade e Especificidade

Conceitos Gerais Em epidemiologia o conceito de “testes diagnósticos” pode ser aplicado a diferentes tipos de procedimentos incluindo: Testes de Laboratório Entrevistas Clínicas Exames Físicos

A avaliação adequada de um teste diagnóstico requer informação sobre: Conceitos Gerais A avaliação adequada de um teste diagnóstico requer informação sobre: Reprodutibilidade – habilidade do teste em produzir resultados repetidos e consistentes Validade – Capacidade de um teste em produzir o resultado real daquilo que está sendo medido

Relação Entre Reprodutibilidade e Validade Alta Baixa Valores obtidos Alta Verdadeiro valor Reprodutibilidade Valores obtidos Baixa Verdadeiro valor Ambos os indicadores devem ser observados na avaliação de um teste diagnóstico

Reprodutibilidade/Repetibilidade Pesquisa clinica e epidemiológica dificilmente atingem os altos valores de repetibilidade obtidos em laboratório Reprodutibilidade pode ser avaliada utilizando diferentes tipos de variáveis: Dicotômica (positivo / negativo) Categórica (normal / anormal / limítrofe) Contínua (miligramas, mililitros)

Avaliação da Reprodutibilidade Taxa Global de Concordância Indicador Kappa

Índice Kappa () “” representa a proporção de concordância que ocorre acima daquela esperada de ocorrer ao acaso Expressa a reprodutibilidade de um teste diagnóstico Reflete o grau de concordância entre observadores ou de medidas da mesma variável categórica que não acontece ao acaso O valor de  varia de “-1” [discordância completa] a “1” [Concordância completa]; “0” equivale a leitura ao acaso

Escala de Concordância Kappa Nenhuma Fraca Sofrível Regular Boa Ótima Perfeita < 0.00 0.00-0.20 0.21-0.40 0.41-0.60 0.61-0.80 0.81-0.99 1.00

Concordância entre dois observadores - Leitura de lâminas para pesquisa de hematozoários Observador 1 Total (+) ( - ) Observador 2 (+) 18 (a) 12 (b) 30 (-) 2 ( c) 88 (d) 90 Total 20 100 120 K = Po - Pe 1 - Pe Po = a + d a + b + c + d Pe = [(a+b) (a+c)] + [(c+d) (b+d)] (a + b + c + d)2 Onde: Po = proporção de concordância observada Pe = proporção de concordância esperada ao acaso

Fatores que afetam a Interpretação do  Fatores avaliados: tipo de evento, fatores relacionados ao examinador, procedimento testado, ambiente, número de categorias de resultados Prevalência do evento na população estudada Independência da avaliação: testes devem ser repetidos ignorando-se resultados prévios

Validade de um Teste Diagnóstico Validade refere-se à quanto um teste é útil para diagnosticar ou predizer um evento Na determinação da validade os resultados do teste são comparados com um teste padrão Padrão Ouro

Validade de um Teste Diagnóstico Doença (Padrão Ouro) Presente Ausente verdadeiro positive falso positivo Positivo (a) (b) a + b Teste (c) (d) c + d falso negativo verdadeiro negativo Negativo Sensibilidade : a/(a+c) Especificidade: d/(b+d) Prevalência (verdadeira): (a + c)/N Prevalência estimada (teste) : (a+b)/N Valor preditivo positivo: a/(a+b) Valor preditivo negativo: d/(c+d) Classificação correta: (a+d)/N Classificação incorreta: (b+c)/N N a + c b + d

Sensibilidade e Especificidade alta sensibilidade e especificidade Sensibilidade – capacidade de um teste em identificar indivíduos verdadeiro positivos (fazendo diagnóstico correto de doentes) Especificidade – capacidade de um teste de detectar indivíduos verdadeiro negativos (identificando sadios) O melhor teste diagnóstico seria aquele que identifica poucos falso negativos e falso positivos: alta sensibilidade e especificidade

Relação entre Sensibilidade e Especificidade O teste ideal (com 100% de sensibilidade e 100% de especificidade) raramente é encontrado na prática Tentativas de aumentar a sensibilidade geralmente resultam em perda de especificidade É necessário definir o ponto de corte (dependente do objetivo do teste de rastreamento/diagnóstico) quando os resultados de um teste são apresentados em forma de variável contínua

Valor Preditivo (VP) de um Teste Dado um resultado positivo (ou negativo) de um teste, qual é a probabilidade que o indivíduo realmente tenha (ou não tenha) a doença? VP depende da sensibilidade, da especificidade do teste, e também da prevalência da doença na população estudada

Relação entre Valor Preditivo e Prevalência Valor Preditivo Positivo (VPP) – proporção de indivíduos doentes entre aqueles com resultado positivo Valor Preditivo Negativo (VPN) – proporção de indivíduos sadios entre aqueles com resultado negativo VPP aumenta com a prevalência (maioria dos testes positivos são de pessoas doentes), enquanto VPN diminui com a prevalência (mais resultados falso negativos)

Erro aleatório ao estimar Sensibilidade e Especificidade Erros ao acaso podem ser avaliados através do cálculo de intervalos de confiança para a sensibilidade e especificidade do novo teste O intervalo de confiança indica o espectro de variação dos resultados obtidos para que possam ser comparados com os testes convencionais

Minimizando Erros ao Acaso Estime o tamanho da amostra necessário para determinar a validade do teste Requer a definição de intervalos de confiança com espectros que incluam o valor da sensibilidade e especificidade desejadas para o teste

Tamanho da amostra para avaliação da Sensibilidade e Especificidade Informação necessária: 1. Proporção esperada de positividade na população 2. Amplitude desejada do intervalo de confiança 3. Definição do nível de confiança N = Z * Z[P (1 - P)]/(D * D) Onde: P = proporção esperada D = semi-amplitude do intervalo de confiança Z = 1.96 (para nível de confiança = 0.05 e 95% IC)

Erro Sistemático na Avaliação de Testes Diagnóstico Os três tipos mais comuns de viés: Viés de amostragem -- a amostra não é representativa da população alvo na qual o teste deverá ser utilizado Viés de mensuração – o conhecimento prévio de quais participantes tem ou não a doença afeta os resultados do estudo Viés de publicação – tendência em se publicar somente de estudos que mostrem o “sucesso” de testes diagnóstico

Minimizando Erros Sistemáticos Viés de amostragem – selecionar amostras de população semelhante a qual o teste deverá ser utilizado Viés de mensuração – o investigador deve permanecer mascarado em relação à realização dos testes diagnósticos Viés de publicação – planejar o estudo com tamanho de amostra suficiente para assegurar credibilidade e divulgação dos resultados

Princípios Básicos para Determinar a Validade de um Teste Randomização e mascaramento – testes devem ser comparados de forma mascarada na mesma amostra aleatória para eliminar variações externas Testagem em campo -- estudos de validação devem ser conduzidos nas mesmas condições onde o teste será utilizado

Roteiro para Determinar a Validade de um Teste Diagnóstico Certifique-se da necessidade do teste Estabeleça o critério de amostragem Descreva o teste e o padrão de referência Descreva os procedimentos para aplicação do teste e do padrão de referência Calcule o tamanho da amostra Esclareça as questões éticas Analise os dados - calcule sensibilidade, especificidade e valores preditivos com respectivos IC95% Adaptado de Hulley & Cummings, 1988