Medidas simples e combinadas de acurácia Validação em Métodos Diagnósticos Sonia Regina Lambert Passos IPEC/Fiocruz

Aplicação do raciocínio epidemiológico às questões clínicas: normalidade/anormalidade acurácia diagnóstica causas secundárias ou co-morbidades (freqüência) fatores desencadeantes ou associados (risco) melhor tratamento (resultados a longo prazo) evolução (prognóstico) efeitos adversos e iatrogenias qualidade dos cuidados preconizados (inclusive preventivos) triagem das informações de literatura científica

Teste diagnóstico Qualquer processo designado para detectar um sinal, substância, alteração tecidual ou respostas. Melhor que um processo aleatório para uma tomada de decisão: distinguir entre doentes e sadios. Pode ser aferido em escala dicotômica (sinais clínicos, isolamento viral, testes sorológicos), ordinal (título sorológico) ou contínua (contagem de células sangüíneas, enzimas séricas, valores de densidade ótica para Elisa) Deveria refletir o verdadeiro estado de infecção (mas nenhum é 100% confiável).

Interessa principalmente a inferência dos resultados do teste quanto ao: Diagnóstico de infecção Estado de doença Nível de imunidade protetora Transição entre estágios de doença Verdadeira concentração de um analito A abordagem que compara com um padrão ouro utiliza uma tabela de contingência 2 X 2.

Os elementos de uma população variam (na estimação devemos levar em conta essas variações e calcular o possível erro cometido).

Erro sistemático: Todas as medidas x1, x2, ..., xn da amostra diferem do valor verdadeiro por uma quantidade constante      Erro aleatório ou estatístico: As medidas x1, x2, ..., xn da amostra se distribuem de maneira aleatória em torno do valor verdadeiro     

Fontes potenciais de erros sistemáticos e aleatórios em laboratório Pré-analíticos: má identificação do animal; mistura de amostras, contaminação; interrupção da cadeia de resfriamento. Analíticos: pipetagem, mensurações, calibração, deterioração dos reagentes. Pós-analíticos – identificação da amostra, interpretação.

Precisão - falta de erro aleatório É a habilidade de um teste de produzir resultados consistentes quando repetido sob as mesmas condições e interpretados sem o conhecimento do resultado final do teste (padrão ouro). É pré-requisito para acurácia. Independe da validade

Afetam a precisão: Condições do animal e laboratoriais Variações na interpretação de uma pessoa para outra – variabilidade interobservador (reprodutibilidade) Variações na interpretação de uma mesma pessoa (variabilidade intraobservador) (repetibilidade) Variação inerente ao teste ou ao kit (instrumentos)

Principais componentes da variação aleatória (erro amostral) Processo de seleção dos sujeitos de estudo (amostragem) Técnicas de mensuração Aumentam a precisão o aumento da amostra e ajustes no delineamento de estudo.

Validade = acurácia Falta de erro sistemático Estado verdadeiro dos fenômenos que estão sendo aferidos. Interna - Habilidade em identificar doença como uma entidade clínica (um caso) distinto de não casos. Validade em relação aos elementos da amostra. Externa - habilidade de gerar resultados comparáveis, se usado em diferentes meio-ambientes, por diferentes profissionais de saúde, e /ou instrumentos, em várias condições. Grau de extensão dos resultados da pesquisa para a população alvo e outras populações semelhantes.

Tabela de contingência para avaliar validade interna

Propriedade de um teste diagnóstico Sensibilidade - capacidade de detectar a doença quando de fato está presente. S = a / a + c Especificidade - probabilidade do teste ser negativo na ausência de doença. (quantos resultados negativos serão obtidos nos indivíduos saudáveis) E = d / b + d

Doentes Sadios Teste Positivo 65 15 Teste Negativo 13 78 Sensibilidade = 65/78 Especificidade= 78/93 VPP = 65/80 VPN = 78 /91

VPN - % VN entre todos com teste negativo (VPN = d / c+d) Valor preditivo - Probabilidade após o teste ser realizado: qual a probabilidade de um resultado positivo ter realmente detectado a doença, e de um paciente com teste negativo não ter a doença. Valor Preditivo Positivo (VPP) - % Verdadeiros Positivos (VP) entre todos os com teste positivo. (VPP = a / a+ b ). VPN - % VN entre todos com teste negativo (VPN = d / c+d) ambos dependem da prevalência (Probabilidade pré-teste) VPP = S x P / (S x P) + (1 - E) x (1 - P) VPN = E x (1 - P) / (1 - S) x P + E x (1 - P)

Accuracy of an enzyme immunoassay (ELISA) and indirect immunofluorescence for the laboratory diagnosis of American tegumentary leishmaniasis A.P.T. Barroso-Freitas1,2; S.R.L. Passos3; E. Mouta-Confort1,2; M.F. Madeira1,2; A.O. Schubach2; G.P.L. Santos2,4; L.D. Nascimento1,2; M.C.A. Marzochi 2; K.B.F. Marzochi2 Transactions of Royal Society of Tropical Medicine & Hygiene 2009, Apr;103(4):383-9. Epub 2009 Feb 10

Tabela. Valores de sensibilidade, especificidade, VPP e VPN com respectivos IC de 95%, utilizando-se antígenos de L. major- Like e L. braziliensis na reação de ELISA. L. major- Like DO (IC 95%) L. braziliensis p-valor Sensibilidade 78,7 % (69,1-86,5) 95,7% (89,5-98,8) 0,0005 Especificidade 82,8% (76,0- 88,3) 100% (97,7-100) 0,0000 VPP 73,3% (63,5-81,6) 100% (95,9-100,0) VPN 86,6 (80,2-91,7) 97,5 (93,8-99,3%) 0,0003

Tabela. Valores preditivos positivo (VPP) e negativo (VPN) utilizando-se antígenos de L. braziliensis, L. major-Like e Kit Bio-manguinhos na reação de IFI. VPP% (IC 95%) p-valor VPN% (IC 95%) L. braziliensis 73,4 (62,3- 82,7) 0,137 94,7 (88,9- 98,0) 0,001 L. major-Like 63,5 (53,1- 73,1) 96,9 (91,2- 99,4) Kit Bio-Manguinhos 79,6 (66,5- 89,4) 84,8 (77,8-90,4)

É mais importante O resultado negativo de um teste sensível. Resultado positivo de um teste específico. Quanto mais específico maior o VPP Quanto maior a prevalência > o VPP e < o VPN. Acurácia = a + d / a + b + c + d

Razão de verossimilhança (Likelihood Ratio) Razão entre a probabilidade de um resultado de um teste em portadores da doença e a probabilidade do mesmo resultado em indivíduos sem a doença. Chance de se encontrar um resultado positivo (RV=) entre doentes e não doentes. RV + = S / 1 - E Chance de um falso negativo em relação ao verdadeiro negativo. RV - = 1 - S / E

Medidas combinadas de acurácia diagnóstica Eficiência (Ef) : é a probabilidade de um teste de classificar corretamente indivíduos infectados e não-infectados de uma população com uma dada prevalência. Ef = Se*P + (Sp) * (1-P) Ef= (VN+VP)/(VN+FN+VP+FP) Índice de Youden´s (J): é uma medida da probabilidade de classificação correta que não depende da prevalência. J = Se + Sp - 1

Testes Múltiplos (testes independentes) Testes em série ( T s = A+  B+ ) S s = S A x S B E s = EA + EB - EA X EB Aumentam a especificidade e o VPP Testes em paralelo (T p = A+ U B+ ) S p = S A+ S B - S A x S B a especificidade combinada se um dos dois for negativo E p = EA X EB Aumentam a sensibilidade, para uma mesma prevalência de doença > VPN.

Confiabilidade Capacidade de concordância interna; replicar os mesmos resultados. Repetibilidade: grau de variação entre resultados de um mesmo laboratório (dentro de um ensaio, de um dia para outro). Reprodutibilidade: grau de variação dos resultados entre laboratórios.

Curvas ROC – Análise de Receiver Operating Characteristic Desenvolvida em 1950 para análise de detecção de sinal. Afere a performance em termos de pares de sensibilidade (Se) e 1-Sp para cada valor observado da variável discriminatória. Plota gráficamente. Estabelece um limiar (ponto de corte) para diferenciar entre os dois grupos. Independe de unidade de medida – permite comparabilidade de performances Estatística mais importante é a AUC Testes perfeitos possuem área sob a curva (AUC) = 1

Figure 3: ROC curve for mean results of five independent readings of PRNT test to smallpox antibodies considering subjects ≥ 35 years old as a gold standard (N = 41 positives and 141 negatives)

Figure 2b: ROC curve for mean results of mean value of five independent readings of PRNT test to smallpox antibodies considering 51 subjects ≥ 31 years old as a gold standard and 131 younger subjects as a control group.

Curva ROC major Curva ROC braziliensis

Figure 1. Area under the curve obtained with Leishmania braziliensis antigen at concentrations of 2.5 and 5.0 µg/mL (Fig. 1.A). We observe that there is almost a perfect separation of the values of the two groups, ie, there is no overlapping of the distributions, the area under the curve almost equals 1 (the ROC curve will reach the upper left corner of the plot) independent of concentrations used. In contrast, with Leishmania major antigen at concentrations of 5.0 and 10.0 µg/mL (Fig. 1.B), we observe a more moderate performance.

Comparação medias de Densidade Ótica entre apresentações clinicas e segundo antígeno utilizado

Validation and repeatibility of a micro plaque reduction neutralization test for vaccinia antibodies Biologicals, Biologicals. 2008 Mar;36(2):105-10. Epub 2007 Sep 24. Maria Beatriz J. Borgesa, Sayuri E. M. Katoc, Clarissa R.A. Damasoc, Nissin Moussatchéc, Marcos da Silva Freirea, Sonia Regina Lambert Passosb, Jussara Pereira do Nascimentoa,* Parameters ≥ 35 years (N= 41) ≥ 31 years (N= 51) Sensitivity % 92.7 (81.3;98.8) 75.4 (61.3;85.0) Specificity % 90.8 (85.9;94.7) 99.0(96.2; 99.9) PPV % 73.5 (81.4;98.1) 75.4 (89.0; 94.8) NPV % 96.2(93.9;99.4) 86.8 (85.1; 94.9) Accuracy 90.1 (86.4; 94.7) 90.1(87.7; 95.5) ROC area (AUC)* 0.96 (0.93; 0.98) 0.89 (0.83; 0.95) ICC 0.89 (0.88; 0.92) 0.89 (0.88; 0.92) Cut-off 7.9 (5.0; 8.0) 5.9 ( 5.0; 6.0) IR 6.9 - 13.3 5.0 - 5.4 Table 1: Validity and repeatibility parameters (95% confidence interval) for PRNT (vaccinia antibodies) considering different age criteria (≥ 31 or ≥ 35 years old) N = 182; 41 subjects > = 35 years and 51 subjects > = 31 years

Fig 1: Matrix correlation of five PRNT of smallpox antibodies (N = 182)

Cálculo do (s) tamanho (s) de amostra para avaliar sensibilidade e especificidade O mesmo princípio de estudos descritivos (dois cálculos) estimativa da proporção (P) esperada (sensibilidade ou especificidade) da variável de interesse (casos positivos ou negativos) na população. Amplitude do intervalo de confiança (D = semi-amplitude do IC) Definição do IC(geralmente de 95%) N = Z2 (P (1-P)) (D2)

Roteiro para determinar a validade de um teste Certifique-se da necessidade do teste Estabeleça o critério de amostragem Descreva o teste e o padrão de referência Descreva os procedimentos para a aplicação do teste e do padrão de referência Calcule o tamanho de amostra Esclareça as questões éticas Análise dos dados (S, E e VP com IC de 95%)