TESTES DIAGNÓSTICOS E VALIDADE AULA 2.

Apresentação em tema: "TESTES DIAGNÓSTICOS E VALIDADE AULA 2."— Transcrição da apresentação:

1 TESTES DIAGNÓSTICOS E VALIDADE AULA 2

2 FATORES QUE AFETAM A ESTIMATIVA DA PERFORMANCE DO TESTE
Medidas com menor nível de erro de classificação possível: conhecer fontes de variação, minimizar vieses e ter amostra suficientemente grande. Performance do teste: estimar a extensão na qual os vieses remanescentes e a variação aleatória afetam as estimativas produzidas.

3 FONTES DE VARIAÇÃO Variações biológicas
Dentro dos indivíduos: varia com o tempo – pessoas infectadas com HIV podem ser soronegativas em uma semana e soropositivas na semana seguinte – pessoas com um teste tuberculíneo positivo podem se converter em um teste negativo (infecção intensa ou imunodeficiência) – amostra em um ponto no tempo pode pegar algumas pessoas que originalmente teriam um teste positivo em um momento cujos testes produzem resultados negativos. Entre indivíduos: diferenças no estado da infecção entre indivíduos.

4 FONTES DE VARIAÇÃO Variações nas medidas
Atribuída ao instrumento utilizado para fazer a medida: meios de cultura, géis, sondas genéticas, etc. Meio de cultura impropriamente preparado para Neisseria gonorrhoeae: teste falso negativo. Culturas de sangue contaminadas: resultados falso positivos.

5 VIESES Teste diagnóstico: erros sistemáticos na medida – aumentam erro de classificação – informação disponível para o teste é diminuída. Estudo epidemiológico: resultados com base em medidas imperfeitas – erros de classificação. Maior risco de viés: necessidade de julgamento na interpretação do teste ou diagnóstico – diagnóstico clínico de gripe.

6 Dois tipos de erro de classificação
VIESES Dois tipos de erro de classificação Pessoa que interpreta o resultado do teste: pode introduzir viés se ela tem informações sobre as condições do paciente e levar isso em conta na interpretação do resultado do teste. Pessoa que dá o diagnóstico: conhece o resultado do teste e leva-o em conta no julgamento se a doença está ou não presente. Dois casos – raciocínio circular: resultado do teste e status da doença são mais fortemente associados do que seriam ao acaso – tendência natural de fazer o resultado do teste se ajustar ao diagnóstico e vice-versa.

7 CONTROLE DE QUALIDADE Instrumentos
Instrumentos diagnósticos: continuamente calibrados. Garantia de qualidade: desafio contínuo – falha nesta garantia é fonte de erro. Performance dos instrumentos: testadas contra um padrão ouro e retestadas em intervalos apropriados.

8 Instrumentos baseados em questionários
CONTROLE DE QUALIDADE Instrumentos baseados em questionários Propriedades: estabelecidas através de estudos de validade. Validade de conteúdo: inclui todos os aspectos a serem medidos. O teste será válido se for adequado para medir os aspectos que devem ser medidos. Validade de constructo: produz resultados consistentes com a teoria existente – se a prevalência da doença infecciosa aumenta com a idade na população – o resultado do teste (para ser válido) deve mostrar esta tendência.

9 Instrumentos baseados em questionários
CONTROLE DE QUALIDADE Instrumentos baseados em questionários Validade lógica: julgar uma informação ou critério por sua lógica ou obviedade. O teste prediz manifestações verificáveis fisicamente do que está sendo medido. Exemplo: Uso do ECG – medida da prevalência de miocardite chagásica em inquéritos populacionais – detecta padrões eletrocardiográficos característicos, técnica fácil de ser aplicada, não invasiva, de custo reduzido e que pode ser repetida, caso necessário. Garantia de qualidade: treinamento do pessoal envolvido e acompanhamento contínua do modo como os instrumentos estão sendo utilizados.

10 Testes dependentes de julgamento do observador
CONTROLE DE QUALIDADE Testes dependentes de julgamento do observador Diminuição do erro do observador: escolha de resultado objetivo. Exemplos: cultura, sonda genética estabelecimento de regras de decisão. Exemplo: critérios diagnósticos garantir que as regras de decisão são seguidas – treinamentos, reuniões para revisar regras, etc. observadores mascarados medida da concordância entre observadores.

11 VARIAÇÃO ALEATÓRIA Erro de classificação: associado à variação aleatória. Questão principal: extensão na qual uma população incluída no estudo (amostra selecionada por método aleatório, sem viés) representa incorretamente a situação da população fonte por causa da variação aleatória das amostras – por exemplo, a verdadeira sensibilidade do teste é 80%, mas o valor amostral obtido pode ser maior ou menor que o parâmetro populacional. Problema ocorre em pequenas amostras de pacientes: reduzido em estudos com grandes amostras.

12 VARIAÇÃO ALEATÓRIA Extensão do erro aleatório: em relação à performance do teste em estudo – estimada por métodos estatísticos – intervalo de confiança – precisão estatística da estimativa. Intervalo de 95% de confiança: há uma confiança de 95% de que o verdadeiro valor está no intervalo. Exemplo: medida (sensibilidade, especificidade ou valor preditivo) expressa em proporção – assumindo-se que os resultados têm distribuição binomial - intervalo de 95% de confiança ser expresso por:

13 GENERALIZAÇÃO Determinação da performance do teste: depende da amostra de pessoas com e sem a doença que são incluídos no estudo de um teste diagnóstico. Características das pessoas: relacionadas com a sensibilidade, especificidade e valores preditivos – espectro de pacientes. Generalização da performance do teste: a quem os resultados se aplicam?

14 GENERALIZAÇÃO Sensibilidade
Sensibilidade observada do teste: determinada pela amostra de pessoas com doença – diferentes probabilidades de apresentarem teste positivo. Pessoas com doença de longo curso, avançada ou clássica – mais prováveis de apresentarem teste positivo em comparação a pessoas com doença recente, leve a atípica. Resultados amostrais em um grupo de pacientes com teste positivo mais provável – sensibilidade alta – exemplo: esfregaços de escarro e cultura para infecção por M. tuberculosis – mais sensível em pacientes com AIDS e doença pulmonar do que em pacientes com teste de pele positivo, mas não imunocomprimidos e sem tosse.

15 GENERALIZAÇÃO Especificidade
Especificidade do teste: determinada pela amostra de pessoas sem a doença. Quanto mais os não doentes se assemelharem com o doentes: maior o probabilidade de ocorrerem falsos positivos. Exemplo: doenças que elevam imunoglobulina – reações falso positivas em testes de hepatite C. Quanto mais saudáveis são os não doentes: maior a especificidade. Exemplo: uso de voluntários normais – poucos têm testes anormais – especificidade alta (na prática, pode não ser).

16 GENERALIZAÇÃO Prevalência: não afeta sensibilidade e especificidade – mas ocorre associação entre as medidas – ambientes com altas e baixas prevalências apresentam diferenças no espectro dos pacientes – exemplo: VP+ em testes de Clamydia – mais altos em um clínica de DST (quadros mais severos do que na população em geral) – maior probabilidade de resultado positivo. Principal meta na escolha de uma amostra: adequada à questão pesquisada – exemplo: acurácia do teste de pele para tuberculose entre pacientes com AIDS – casos: com AIDS e tuberculose; não casos: com AIDS e sintomas e sinais similares, mas sem tuberculose.

17 GENERALIZAÇÃO Estudos de testes diagnósticos: registros clínicos e não experimentais Amostra ideais de não casos: geralmente não disponíveis – padrão-ouro é custoso e invasivo – não aceitável para pacientes sem evidências de a doença estar presente – exemplo: pediatra não solicita cultura de sangue de uma criança sem febre (sem evidência de bacteremia, mesmo que ela possa estar presente). Dados da prática clínica: informação incompleta sobre a performance do teste em pessoas sem a doença. Problema pode ser superado: testagem de pessoas sem resultados positivos em testes preliminares

18 RESULTADOS CONTÍNUOS Resultados dicotômicos: testes para a presença de infecção usando cultura e diagnóstico molecular – presente ou ausente. Testes sorológicos, de pele e outros: reação biológica do hospedeiro à infecção – raramente dicotômicos – são contínuos. Exemplo: culturas de urina em mulheres com infecção do trato urinário – de poucos organismos a 106/mm3 ( vezes) – sobreposição de valores dos resultados do teste para pessoas com e sem a infecção. Distribuição de valores na população das pessoas com e sem a doença: sem protuberância ou quebras – sem razão biológica de onde colocar o ponto de corte.

19 Normal e não normal Resultado “anormal” do teste: nível além do qual um teste é considerado não normal. Exemplo: dois desvios padrões acima e abaixo da média – artificial; outra possibilidade: valores associados com a doença clínica. Definição de “normal”: criação de uma variável dicotômica a partir da contínua – escolha do ponto de corte separando “normais” de “não normais” na distribuição dos valores dos resultados do teste. Escolha: papel do investigador – balanço entre sensibilidade e especificidade - inversamente relacionadas.

20 Ponto de corte Sensibilidade e especificidade: inversamente relacionadas – dependem do ponto de corte estabelecido - Exemplo - teste tuberculíneo – teste altamente sensível ou específico para Mycobacterium tuberculosis em função do ponto de corte. Teste tuberculíneo: entre 5 a 15 mm proporciona informação útil do ponto de vista do diagnóstico. Ponto de corte baixo: (<= 2 mm de induração) – teste altamente sensível – quase todos os casos seriam detectados – muitos diagnósticos falso-positivos (baixa especificidade). Ponto de corte alto: (> 20 mm de induração) – teste altamente específico – poucas pessoas seriam falsamente taxadas como tuberculosas – muitos falso-negativos (baixa sensibilidade).

21 Sensibilidade X Especificidade
Balanço entre sensibilidade e especificidade para um dado teste: sem ganho de informação. Mais informação: teste melhor, em vez de mover ponto de corte. Informações epidemiológicas: ajudam na escolha do ponto de corte com aumento tanto da sensibilidade como da especificidade. Exemplo de três situações para consideração de um teste tuberculíneo positivo: >= 5mm de induração em pessoa com radiografia de tórax anormal >= 10mm em pessoa com teste negativo recente >= 15mm em pessoa sem outra razão para suspeita de tuberculose.

22 Curva ROC Relação entre sensibilidade e especificidade: curva ROC (receiver operating characteristic) – vários pontos de corte – Figura. Infecção bacteriana gram-negativa do trato urinário: padrão ouro: aspiração da bexiga com agulha ou com uso de cateter – teste: cultura de urina – população: mulheres jovens com sintomas sugerindo infecção do trato urinário. Ponto de corte em 105: Sensibilidade = 52% - 48% das mulheres com a infecção são chamadas de normais. Aumento do ponto de corte: sensibilidade diminui e especificidade aumenta (diminuição - vice-versa).

23 Figura – Curva ROC – Cultura de urina X presença de bactéria na urina.
>=1 102 103 104 105 Figura – Curva ROC – Cultura de urina X presença de bactéria na urina. Fonte: Stam WE, Counts GW, Running KR, et al. Diagnosis of coliform infection in acutely ill dysuric women. N. Engl. J. Med. 307: , 1982.

24 Curva ROC Curva ROC: sensibilidade X (1 – especificidade) – valores correspondentes aos pontos de corte. Canto superior esquerdo da curva: testes que distinguem bem normal e anormal. Área sob a curva: quanto maior, mais o teste contribui com informação. Performances dos testes: comparação das áreas sob a curva. Curva na diagonal: teste não contribui com informação além daquela que existiria em função do acaso.

25 Escolha do ponto de corte
Depende: consequências do resultado do erro de classificação. Teste sensível: importante descobrir a maioria dos positivos (cuidados com os pacientes, p.e.) – baixo (ou alto) ponto de corte – muitos falso-positivos. Teste específico: consequências de um diagnóstico falso-positivo (HIV) – alto (ou baixo) ponto de corte – muitos falso-negativos. Balanço entre sensibilidade e especificidade: inevitável – mas, um novo teste – melhor em sensibilidade e especificidade que os testes anteriores. Novo teste: mais avançado em direção ao canto superior esquerdo da curva ROC do que os anteriores.

26 Exemplo de construção da curva ROC - Glicemia
Nível glicêmico pós-prandial Sensibilidade (%) Especificidade (%) 70 98,6 8,8 80 97,1 25,5 90 94,3 47,6 100 88,6 69,8 110 85,7 84,1 120 71,4 92,5 130 64,3 96,9 140 57,1 99,4 150 50,0 99,6 160 47,1 99,8 170 42,9 180 38,6 190 34,3 200 27,1

27 Curva ROC

28 CURVA ROC Considere dois exames, A e B, aplicados a duas populações conhecidas, de indivíduos saudáveis e doentes. Admitindo distribuições normais (poderia ser outra), o exame A "separa" melhor os dois grupos que o exame B (note que, em ambos os casos, dado um valor de corte -"cut off"- há falsos positivos e negativos). Fonte: Disciplina de Métodos Quantitativos em Medicina. Evolução darwiniana em medicina. Massad E, Silveira PSP, eds. Faculdade de Medicina da Universidade de São Paulo. <URL:

29 Quanto mais a curva aproxima-se do ponto (0,1), melhor o exame.
Com uma curva ROC, pode-se observar como a especificidade e a sensibilidade de cada um dos exames se relacionam em função da variação do valor de corte. Quanto mais a curva aproxima-se do ponto (0,1), melhor o exame. Neste exemplo, o Exame A é melhor que o Exame B. Fonte: Disciplina de Métodos Quantitativos em Medicina. Evolução darwiniana em medicina. Massad E, Silveira PSP, eds. Faculdade de Medicina da Universidade de São Paulo. <URL:

30 BIBLIOGRAFIA Fletcher RH, Halstead SB. Evaluation of Diagnostic Tests. In: Thomas JC, Weber DJ. Epidemiologic Methods for the Study of Infectious Diseases. University Press, Oxford, 2001, Gordis L. Epidemiologia. 2º Edição. Revinter, Rio de Janeiro 2004. Pereira MG. Epidemiologia. Teoria e Prática. Guanabara Koogan, Rio de Janeiro, 1995. Medronho RA, Perez MA. Teses Diagnósticos. In: Medronho RA, Carvalho DM, Bloch KV, Luiz RR, Werneck GL. Epidemiologia. Atheneu, São Paulo, 2002.