A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Técnicas Estatísticas para Validação de Métodos qualitativos

Apresentações semelhantes


Apresentação em tema: "Técnicas Estatísticas para Validação de Métodos qualitativos"— Transcrição da apresentação:

1 Técnicas Estatísticas para Validação de Métodos qualitativos
Dorival Leão

2 Necessidade Causa Efeito Desenvolvimento tecnológico
Teste mais rápidos e efetivos Aumento da produtividade Efeito Substituir as metodologias atuais por metodologias de ensaio mais “eficientes” Princípios físicos e/ou químicos distintos

3 Validação de Métodos “A validação deve garantir, através de estudos experimentais, que o método atenda às exigências das aplicações analíticas, assegurando a confiabilidade dos resultados” (ANVISA). “Validação é o processo de definir uma exigência analítica e confirmar que o método sob investigação tem capacidade de desempenho consistente com o que a aplicação requer” (ISO/IEC 17025). “A validação de métodos assegura a credibilidade destes durante o uso rotineiro, sendo algumas vezes mencionado como o “processo que fornece uma evidência documentada de que o método realiza aquilo para o qual é indicado para fazer” (USP).

4 Validação de Métodos qualitativos
Os resultados são expressos em termos de presença ou ausência, assim como os procedimentos de confirmação e identificação Ensaios para validação Especificidade Exatidão e Precisão Limite de detecção Robustez

5 Ensaios Microbiológicos
Presença e ausência de Micro-organismos Contagem de Micro-organismos (Quantitativo Discreto); Tecnologias baseadas Crescimento Viabilidade Componentes celulares Ácido nucleico

6 que pode ser escrita como
Modelo Logístico 𝑥 𝑖 é o valor da variável explicativa; 𝑚 𝑖 é a quantidade de replicatas (número de ensaios); 𝑦 𝑖 número de replicatas detectada com micro-organismos em 𝑚 𝑖 replicatas; n é o total de combinações. Suponha uma amostra de n observações independentes da terna 𝑥 𝑖 , 𝑚 𝑖 , 𝑦 𝑖 , 𝑖=1,2,…,𝑛 Com isso, assumimos que a variável resposta tem distribuição de probabilidade binomial tal que 𝑃 𝑌 𝑖 = 𝑦 𝑖 = 𝑚 𝑖 𝑦 𝑖 𝜋 𝑖 𝑦 𝑖 (1− 𝜋 𝑖 ) 𝑚 𝑖 − 𝑦 𝑖 𝜋 𝑖 =𝜋 𝑥 𝑖 = 𝑒 𝛽 0 + 𝛽 1 𝑥 𝑖 1+ 𝑒 𝛽 0 + 𝛽 1 𝑥 𝑖 , i=1,...n Para adequarmos a resposta média ao modelo linear usamos a função de ligação log ( 𝜋 𝑖 1− 𝜋 𝑖 ) = 𝛽 0 + 𝛽 1 𝑥 𝑖 que pode ser escrita como

7 Modelo Logístico Modelo Logístico com 𝛽 negativo
Modelo Logístico com 𝛽 positivo

8 Limite de detecção Ensaios
Menor quantidade de micro-organismos presentes na amostra, que consegue ser detectada sob condições experimentais estabelecidas refere-se ao número de micro-organismos presentes na amostra original antes da diluição ou inoculação

9 Experimento 1 Realizar o teste com uma baixa concentração de micro-organismos e aumentar a concentração até que pelo menos 50% das amostras sejam detectadas no método tradicional Teste UFC Replicata Detecção Alternativo 2 30 2,5 3 7 3,5 11 4 14 4,5 18 5 22 5,5 25 6 28 6,5 Tradicional 8 13 15 17 Ensaio Realizado em paralelo.

10 Modelo Logístico 𝜋 𝑖 =𝑃[ 𝑌 𝑖 = 𝑦 𝑖 ] : probabilidade detecção
em que 𝜋 𝑖 =𝑃[ 𝑌 𝑖 = 𝑦 𝑖 ] : probabilidade detecção O método de teste alternativo apresenta um limite de detecção maior que o método de teste tradicional (P-valor abaixo de 0,01%). Estimativa Desvio Padrão Teste de Wald P-Valor Limite Inferior Limite Superior Intercepto -5,02 0,453 -11,08 -5,904 -4,129 Teste-Tradicional -2,04 0,249 -8,22 -2,531 -1,557 UFC 1,22 0,103 11,86 1,020 1,424

11 Ensaio 2 Executar o teste em paralelo em três (ou duas) concentrações distintas. Método Concentração Replicatas Detecção Alternativo 15 20 16 45 Tradicional 12 19

12 Modelo Logístico 𝜋 𝑖 =𝑃[ 𝑌 𝑖 = 𝑦 𝑖 ] : probabilidade detecção
em que 𝜋 𝑖 =𝑃[ 𝑌 𝑖 = 𝑦 𝑖 ] : probabilidade detecção O método de teste alternativo apresenta um limite de detecção similar ao método tradicional(P-valor de 11%). Estimativa Desvio Padrão Teste de Wald P-Valor Limite Inferior Limite Superior Intercepto 0,020 0,83 0,02 0,98 -1,61 1,65 MetodoT -1,11 0,70 -1,60 0,11 -2,48 0,25 Conc 0,096 0,036 2,68 0,0074 0,026 0,17

13 Teste Qui-Quadrado de homogeneidade
Ensaio 3: Determinar uma concentração específica de micro-organismos; Executar um ensaio paralelo entre os dois métodos. Tabela Cruzada Ausente Presente Total Alternativo 5 25 30 Tradicional 17 13 22 38 60 Teste Qui-Quadrado  Estatistica X² 8,68 Graus de Liberdade 1 P-Valor 0,0032 Conclusão: Tanto o teste exato de Fisher quanto o teste qui-quadrado detectaram diferenças entre os dois métodos; O teste alternativo apresenta maior “chance” de detecção; Teste Exato de Fisher Estimativa Odds 0,16 P-Valor 0,0028

14 Cálculo do Tamanho da Amostra
Nível de significância: 0,05 Poder: 0,95 Método Detecção Tamanho da Amostra Alternativo 0,8 13 Tradicional 0,4 26 0,6 0,75 38 0,87 93 0,9

15 Especificidade Crescimento Outros
Capacidade de detectar variedades de micro-organismos diferentes, que podem estar presentes na amostra. Capacidade de detectar micro-organismos diferenciando-os de partículas externas, não deixando com que elas interfiram no resultado do teste.

16 Exatidão e Precisão A exatidão e a precisão de um método alternativo pode ser expressa como a razão relativa de resultados falso positivos e falso negativos entre o método alternativo e o método tradicional, utilizando-se inóculos padronizados com uma baixa concentração de micro-organismos.

17 Teste Tradicional / referência
A relação entre Teste Alternativo e Teste Tradicional Teste Tradicional / referência + - Teste Alternativo Verdadeiro Positivo Falso Positivo Falso Negativo Verdadeiro Negativo

18 Teste Tradicional / Referência
Sensibilidade e Especificidade Teste Tradicional / Referência Total Presente Ausente Teste Alternativo a Verdadeiro Positivo b Falso Positivo a+b c Falso Negativo d Verdadeiro Negativo c+d a+c b+d a+b+c+d 𝑆𝑒𝑛𝑠𝑖𝑏𝑖𝑙𝑖𝑑𝑎𝑑𝑒= 𝑎 (𝑎+𝑐) e 𝐸𝑠𝑝𝑒𝑐𝑖𝑓𝑖𝑐𝑖𝑑𝑎𝑑𝑒= 𝑑 (𝑏+𝑑)

19 Sensibilidade Especificidade
Probabilidade do teste alternativo detectar dado que o teste tradicional (ou referência) detecta Probabilidade do teste alternativo não detectar dado que o teste tradicional (ou referência) não detecta 𝑆= 𝑎 (𝑎+𝑐) 𝐸= 𝑑 (𝑏+𝑑)

20 Coeficiente Kappa de Cohen
É uma medida estatística da concordância de dois avaliadores quando ambos classificam a mesma amostra; 𝐾𝑎𝑝𝑝𝑎= ( Pr 𝑜 −Pr⁡(𝑒)) (1− Pr 𝑒 ))

21 Grau de Concordância 𝐹𝑎𝑙𝑠𝑜𝑁𝑒𝑔𝑎𝑡𝑖𝑣𝑜= 0 20 =0 𝐹𝑎𝑙𝑠𝑜𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑜= 8 20 =0,4
Tabela Cruzada Teste Tradicional Total Presente Ausente Teste Alternativo 20 8 28 12 40 𝐹𝑎𝑙𝑠𝑜𝑁𝑒𝑔𝑎𝑡𝑖𝑣𝑜= 0 20 =0 𝐹𝑎𝑙𝑠𝑜𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑜= 8 20 =0,4 Tabela de Proporção Teste Tradicional Total Presente Ausente Teste Alternativo 0,5 0,2 0,7 0,3 1 𝑆𝑒𝑛𝑠𝑖𝑏𝑖𝑙𝑖𝑑𝑎𝑑𝑒= =1 𝐸𝑠𝑝𝑒𝑐𝑖𝑓𝑖𝑐𝑖𝑑𝑎𝑑𝑒= =0,6 Esperado Teste Tradicional Presente Ausente Teste Alternativo 0,35 0,15 𝐾𝑎𝑝𝑝𝑎= 0,5+0,3 −(0,35+0,15) (0,35+0,15) =0,6

22 Grau de Concordância 𝐹𝑎𝑙𝑠𝑜𝑁𝑒𝑔𝑎𝑡𝑖𝑣𝑜= 1 20 =0,05
Tabela Cruzada Teste Tradicional Total Presente Ausente Teste Alternativo 19 2 28 1 18 12 20 40 𝐹𝑎𝑙𝑠𝑜𝑁𝑒𝑔𝑎𝑡𝑖𝑣𝑜= 1 20 =0,05 𝐹𝑎𝑙𝑠𝑜𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑜= 2 20 =0,1 Tabela de Proporção Teste Tradicional Total Presente Ausente Teste Alternativo 0,475 0,05 0,525 0,025 0,45 0,3 0,5 1 𝑆𝑒𝑛𝑠𝑖𝑏𝑖𝑙𝑖𝑑𝑎𝑑𝑒= =0,95 𝐸𝑠𝑝𝑒𝑐𝑖𝑓𝑖𝑐𝑖𝑑𝑎𝑑𝑒= =0,9 𝐾𝑎𝑝𝑝𝑎= 0,475+0,45 −(0,2625+0,15) (0,2625+0,15) =0,87 Esperado Teste Tradicional Presente Ausente Teste Alternativo 0,2625 0,15

23 Robustez Consiste em medir a capacidade do método apresentar resultados “similares” quando submetido a pequenas alterações intencionais; Fornece indicação da confiabilidade durante o uso rotineiro.

24 Ensaio Executar o método com diferentes analistas e temperaturas distintas. Neste caso, realizamos um experimento cruzado totalmente aleatoriazado. Analista Temperatura Tamanho da Amostra Detecção A 30 25 B 23 27 22

25 Modelo Logístico Conclusão: Como o P-valor para analistas e temperatura são “grandes”, concluímos que a interferência dos analistas e da temperatura (na faixa de estudo) são desprezíveis. Estimativa Desvio Padrão Teste de Wald P-Valor Limite Inferior Limite Superior Intercepto 1,82 0,44 4,12 0,95 2,68 AnalistaB 0,11 0,47 0,23 0,81 -0,81 1,03 TemperaturaB -0,77 0,48 -1,60 -1,72 0,17 Analista Temperatura Prob. Ajustada LI LS Desvio Padrão A 0,86 0,76 0,96 0,05 B 0,74 0,60 0,88 0,07 0,87 0,77 0,97 0,62 0,90

26 Referências Bibliográficas
PDA, J. of Pharmaceutical Science and Technology, technical report 3, Evaluation, Validation, and Implementation of New Microbiological Testing Methods. Leão JÚNIOR, D. ; AOKI, Reiko ; SILVA, G. F. . Statistical analysis of proficiency testing results under elliptical distributions. Computational Statistics & Data Analysis, v. 53, p , 2009.


Carregar ppt "Técnicas Estatísticas para Validação de Métodos qualitativos"

Apresentações semelhantes


Anúncios Google