A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Medidas simples e combinadas de acurácia Validação em Métodos Diagnósticos Sonia Regina Lambert Passos IPEC/Fiocruz.

Apresentações semelhantes


Apresentação em tema: "Medidas simples e combinadas de acurácia Validação em Métodos Diagnósticos Sonia Regina Lambert Passos IPEC/Fiocruz."— Transcrição da apresentação:

1 Medidas simples e combinadas de acurácia Validação em Métodos Diagnósticos Sonia Regina Lambert Passos IPEC/Fiocruz

2 Aplicação do raciocínio epidemiológico às questões clínicas: normalidade/anormalidade acurácia diagnóstica causas secundárias ou co-morbidades (freqüência) fatores desencadeantes ou associados (risco) melhor tratamento (resultados a longo prazo) evolução (prognóstico) efeitos adversos e iatrogenias qualidade dos cuidados preconizados (inclusive preventivos) triagem das informações de literatura científica

3 Teste diagnóstico Qualquer processo designado para detectar um sinal, substância, alteração tecidual ou respostas. Melhor que um processo aleatório para uma tomada de decisão: distinguir entre doentes e sadios. Pode ser aferido em escala dicotômica (sinais clínicos, isolamento viral, testes sorológicos), ordinal (título sorológico) ou contínua (contagem de células sangüíneas, enzimas séricas, valores de densidade ótica para Elisa) Deveria refletir o verdadeiro estado de infecção (mas nenhum é 100% confiável).

4 Interessa principalmente a inferência dos resultados do teste quanto ao: – –Diagnóstico de infecção – –Estado de doença – –Nível de imunidade protetora – –Transição entre estágios de doença – –Verdadeira concentração de um analito A abordagem que compara com um padrão ouro utiliza uma tabela de contingência 2 X 2.

5 Os elementos de uma população variam (na estimação devemos levar em conta essas variações e calcular o possível erro cometido).

6 Erro sistemático: Todas as medidas x 1, x 2,..., x n da amostra diferem do valor verdadeiro por uma quantidade constante Erro aleatório ou estatístico: As medidas x 1, x 2,..., x n da amostra se distribuem de maneira aleatória em torno do valor verdadeiro

7 Fontes potenciais de erros sistemáticos e aleatórios em laboratório Pré-analíticos: má identificação do animal; mistura de amostras, contaminação; interrupção da cadeia de resfriamento. Analíticos: pipetagem, mensurações, calibração, deterioração dos reagentes. Pós-analíticos – identificação da amostra, interpretação.

8 Precisão - falta de erro aleatório É a habilidade de um teste de produzir resultados consistentes quando repetido sob as mesmas condições e interpretados sem o conhecimento do resultado final do teste (padrão ouro). É pré-requisito para acurácia. Independe da validade

9

10 Afetam a precisão: – –Condições do animal e laboratoriais – –Variações na interpretação de uma pessoa para outra – variabilidade interobservador ( reprodutibilidade ) – –Variações na interpretação de uma mesma pessoa (variabilidade intraobservador) (repetibilidade) – –Variação inerente ao teste ou ao kit (instrumentos)

11 Principais componentes da variação aleatória (erro amostral) Processo de seleção dos sujeitos de estudo (amostragem)Processo de seleção dos sujeitos de estudo (amostragem) Técnicas de mensuraçãoTécnicas de mensuração Aumentam a precisão o aumento da amostra e ajustes no delineamento de estudo.Aumentam a precisão o aumento da amostra e ajustes no delineamento de estudo.

12 Validade = acurácia Falta de erro sistemático Estado verdadeiro dos fenômenos que estão sendo aferidos. Interna - Habilidade em identificar doença como uma entidade clínica (um caso) distinto de não casos. Validade em relação aos elementos da amostra. Externa - habilidade de gerar resultados comparáveis, se usado em diferentes meio-ambientes, por diferentes profissionais de saúde, e /ou instrumentos, em várias condições. Grau de extensão dos resultados da pesquisa para a população alvo e outras populações semelhantes.

13 Tabela de contingência para avaliar validade interna

14 Propriedade de um teste diagnóstico Sensibilidade - capacidade de detectar a doença quando de fato está presente.Sensibilidade - capacidade de detectar a doença quando de fato está presente. S = a / a + cS = a / a + c Especificidade - probabilidade do teste ser negativo na ausência de doença.Especificidade - probabilidade do teste ser negativo na ausência de doença. » (quantos resultados negativos serão obtidos nos indivíduos saudáveis) E = d / b + dE = d / b + d

15 DoentesSadios Teste Positivo 6515 Teste Negativo 1378 Sensibilidade = 65/78 Especificidade= 78/93 VPP = 65/80 VPN = 78 /91

16 Valor preditivo - Probabilidade após o teste ser realizado: qual a probabilidade de um resultado positivo ter realmente detectado a doença, e de um paciente com teste negativo não ter a doença. Valor Preditivo Positivo (VPP) - % Verdadeiros Positivos (VP) entre todos os com teste positivo. (VPP = a / a+ b ). VPN - % VN entre todos com teste negativo (VPN = d / c+d) ambos dependem da prevalência (Probabilidade pré-teste) – –VPP = S x P / (S x P) + (1 - E) x (1 - P) – –VPN = E x (1 - P) / (1 - S) x P + E x (1 - P)

17 Accuracy of an enzyme immunoassay (ELISA) and indirect immunofluorescence for the laboratory diagnosis of American tegumentary leishmaniasis A.P.T. Barroso-Freitas1,2; S.R.L. Passos3; E. Mouta-Confort1,2; M.F. Madeira1,2; A.O. Schubach2; G.P.L. Santos2,4; L.D. Nascimento1,2; M.C.A. Marzochi 2; K.B.F. Marzochi2 Transactions of Royal Society of Tropical Medicine & Hygiene 2009, Apr;103(4): Epub 2009 Feb 10

18 L. major- Like DO (IC 95%) L. braziliensis DO (IC 95%) p-valor Sensibilidade78,7 % (69,1-86,5)95,7% (89,5-98,8)0,0005 Especificidade82,8% (76,0- 88,3)100% (97,7-100)0,0000 VPP73,3% (63,5-81,6)100% (95,9-100,0)0,0005 VPN86,6 (80,2-91,7)97,5 (93,8-99,3%)0,0003 Tabela. Valores de sensibilidade, especificidade, VPP e VPN com respectivos IC de 95%, utilizando-se antígenos de L. major- Like e L. braziliensis na reação de ELISA.

19 Tabela. Valores preditivos positivo (VPP) e negativo (VPN) utilizando-se antígenos de L. braziliensis, L. major-Like e Kit Bio- manguinhos na reação de IFI. VPP% (IC 95%) p-valorVPN% (IC 95%)p-valor L. braziliensis73,4 (62,3- 82,7) 0,13794,7 (88,9- 98,0) 0,001 L. major-Like63,5 (53,1- 73,1) 96,9 (91,2- 99,4) Kit Bio- Manguinhos 79,6 (66,5- 89,4) 84,8 (77,8-90,4)

20 É mais importante O resultado negativo de um teste sensível. Resultado positivo de um teste específico. Quanto mais específico maior o VPP Quanto maior a prevalência > o VPP e < o VPN. Acurácia = a + d / a + b + c + d

21 Razão de verossimilhança (Likelihood Ratio) Razão entre a probabilidade de um resultado de um teste em portadores da doença e a probabilidade do mesmo resultado em indivíduos sem a doença.Razão entre a probabilidade de um resultado de um teste em portadores da doença e a probabilidade do mesmo resultado em indivíduos sem a doença. Chance de se encontrar um resultado positivo (RV=) entre doentes e não doentes.Chance de se encontrar um resultado positivo (RV=) entre doentes e não doentes. RV + = S / 1 - ERV + = S / 1 - E Chance de um falso negativo em relação ao verdadeiro negativo.Chance de um falso negativo em relação ao verdadeiro negativo. RV - = 1 - S / ERV - = 1 - S / E

22 Medidas combinadas de acurácia diagnóstica Eficiência (Ef) : é a probabilidade de um teste de classificar corretamente indivíduos infectados e não-infectados de uma população com uma dada prevalência. Ef = Se*P + (Sp) * (1-P) Ef= (VN+VP)/(VN+FN+VP+FP) Índice de Youden´s (J): é uma medida da probabilidade de classificação correta que não depende da prevalência. J = Se + Sp - 1

23 Testes Múltiplos (testes independentes) Testes em série ( T s = A + B + ) S s = S A x S B E s = E A + E B - E A X E B Aumentam a especificidade e o VPP Testes em paralelo (T p = A + U B + ) S p = S A + S B - S A x S B a especificidade combinada se um dos dois for negativo E p = E A X E B Aumentam a sensibilidade, para uma mesma prevalência de doença > VPN.

24 Confiabilidade Capacidade de concordância interna; replicar os mesmos resultados. Repetibilidade: grau de variação entre resultados de um mesmo laboratório (dentro de um ensaio, de um dia para outro). Reprodutibilidade: grau de variação dos resultados entre laboratórios.

25 Curvas ROC – Análise de Receiver Operating Characteristic Desenvolvida em 1950 para análise de detecção de sinal.Desenvolvida em 1950 para análise de detecção de sinal. Afere a performance em termos de pares de sensibilidade (Se) e 1-Sp para cada valor observado da variável discriminatória.Afere a performance em termos de pares de sensibilidade (Se) e 1-Sp para cada valor observado da variável discriminatória. Plota gráficamente.Plota gráficamente. Estabelece um limiar (ponto de corte) para diferenciar entre os dois grupos.Estabelece um limiar (ponto de corte) para diferenciar entre os dois grupos. Independe de unidade de medida – permite comparabilidade de performancesIndepende de unidade de medida – permite comparabilidade de performances Estatística mais importante é a AUCEstatística mais importante é a AUC Testes perfeitos possuem área sob a curva (AUC) = 1Testes perfeitos possuem área sob a curva (AUC) = 1

26 Figure 3: ROC curve for mean results of five independent readings of PRNT test to smallpox antibodies considering subjects 35 years old as a gold standard (N = 41 positives and 141 negatives)

27 Figure 2b: ROC curve for mean results of mean value of five independent readings of PRNT test to smallpox antibodies considering 51 subjects 31 years old as a gold standard and 131 younger subjects as a control group.

28

29 Curva ROC braziliensis Curva ROC major

30 Figure 1. Area under the curve obtained with Leishmania braziliensis antigen at concentrations of 2.5 and 5.0 µg/mL (Fig. 1.A). We observe that there is almost a perfect separation of the values of the two groups, ie, there is no overlapping of the distributions, the area under the curve almost equals 1 (the ROC curve will reach the upper left corner of the plot) independent of concentrations used. In contrast, with Leishmania major antigen at concentrations of 5.0 and 10.0 µg/mL (Fig. 1.B), we observe a more moderate performance.

31 Comparação medias de Densidade Ótica entre apresentações clinicas e segundo antígeno utilizado

32 Validation and repeatibility of a micro plaque reduction neutralization test for vaccinia antibodies Biologicals, Biologicals Mar;36(2): Epub 2007 Sep 24. Maria Beatriz J. Borgesa, Sayuri E. M. Katoc, Clarissa R.A. Damasoc, Nissin Moussatchéc, Marcos da Silva Freirea, Sonia Regina Lambert Passosb, Jussara Pereira do Nascimentoa,* Parameters 35 years (N= 41) 31 years (N= 51) Sensitivity %92.7 (81.3;98.8)75.4 (61.3;85.0) Specificity %90.8 (85.9;94.7)99.0(96.2; 99.9) PPV %73.5 (81.4;98.1)75.4 (89.0; 94.8) NPV %96.2(93.9;99.4)86.8 (85.1; 94.9) Accuracy90.1 (86.4; 94.7)90.1(87.7; 95.5) ROC area (AUC)*0.96 (0.93; 0.98)0.89 (0.83; 0.95) ICC0.89 (0.88; 0.92) Cut-off7.9 (5.0; 8.0)5.9 ( 5.0; 6.0) IR Table 1: Validity and repeatibility parameters (95% confidence interval) for PRNT (vaccinia antibodies) considering different age criteria ( 31 or 35 years old) N = 182; 41 subjects > = 35 years and 51 subjects > = 31 years

33 Fig 1: Matrix correlation of five PRNT of smallpox antibodies (N = 182)

34 Cálculo do (s) tamanho (s) de amostra para avaliar sensibilidade e especificidade O mesmo princípio de estudos descritivos (dois cálculos)O mesmo princípio de estudos descritivos (dois cálculos) –estimativa da proporção (P) esperada (sensibilidade ou especificidade) da variável de interesse (casos positivos ou negativos) na população. –Amplitude do intervalo de confiança (D = semi- amplitude do IC) –Definição do IC(geralmente de 95%) N = Z 2 (P (1-P))N = Z 2 (P (1-P)) (D 2 )

35 Roteiro para determinar a validade de um teste Certifique-se da necessidade do testeCertifique-se da necessidade do teste Estabeleça o critério de amostragemEstabeleça o critério de amostragem Descreva o teste e o padrão de referênciaDescreva o teste e o padrão de referência Descreva os procedimentos para a aplicação do teste e do padrão de referênciaDescreva os procedimentos para a aplicação do teste e do padrão de referência Calcule o tamanho de amostraCalcule o tamanho de amostra Esclareça as questões éticasEsclareça as questões éticas Análise dos dados (S, E e VP com IC de 95%)Análise dos dados (S, E e VP com IC de 95%)


Carregar ppt "Medidas simples e combinadas de acurácia Validação em Métodos Diagnósticos Sonia Regina Lambert Passos IPEC/Fiocruz."

Apresentações semelhantes


Anúncios Google