Lilian R. F. de Carvalho: FERRAMENTAS ESTATÍSTICAS PARA A ESCOLHA, VALIDAÇÃO, COMPARAÇÃO E MONITORAMENTO DE MÉTODOS ANALÍTICOS Heliara Lopes Nascimento.

Apresentação em tema: "Lilian R. F. de Carvalho: FERRAMENTAS ESTATÍSTICAS PARA A ESCOLHA, VALIDAÇÃO, COMPARAÇÃO E MONITORAMENTO DE MÉTODOS ANALÍTICOS Heliara Lopes Nascimento."— Transcrição da apresentação:

1 Lilian R. F. de Carvalho: FERRAMENTAS ESTATÍSTICAS PARA A ESCOLHA, VALIDAÇÃO, COMPARAÇÃO E MONITORAMENTO DE MÉTODOS ANALÍTICOS Heliara Lopes Nascimento (doutoranda) Prof ª. Dra Lilian Rothschild Franco de Carvalho (orientadora) Instituto de Química - Universidade de São Paulo LEMA - Laboratório de Estudos do Meio Ambiente Material utilizado em Seminário Geral da Pós-Gracuação em Química Analítica em 10/nov/2000 da orientadora: Publicado na AllChemy-Série Alfa, em 04/mar/2001

2 Variações são Expressas por Valores Numéricos Denominados Desvios
Podem estar relacionadas com: Fontes gerais de desvios dentro do processo/situação Método de análise Processo sob Controle Variações são Expressas por Valores Numéricos Denominados Desvios

3 Necessidade de Novo Método
Lilian R. F. de Carvalho: Fluxograma do Desenvolvimento de Método Analítico Dixon Cochran E ISO 5725 Necessidade de Novo Método Estado da Arte X Aplicação Testes Preliminares X Descrição do método Validação: Precisão, Exatidão, Limite Robustez E 1169 Resultados Aceitos Técnicas Aplicáveis de amostragem Reportar Resultados Comparar novas Metodologias ILS Proficiência ( E 1601 ) Requer Otimização Registrar e Evoluir Correlação Entre situações/ Matriz Monitoramento Pesquisar Causas de Variação Comparação com Especificação Conell Cartas de controle

4 Escolha do Método Objetivo / aplicação
Especificação / limites desejados Levantamento do estado da arte: STN; Dialog; Infodisk Existência de padrões e materiais de referência Custo / beneficio Testar especificidade, linearidade, faixa, exatidão e precisão validação

5 Validação Tornar Legítimo. Estabelecer as Incertezas envolvidas.
Conhecer Precisão, exatidão, linearidade e sensibilidade.

6 Validação Precisão Exatidão
Grau de concordância entre repetidas medidas da mesma propriedade. Orienta quanto à probabilidade da dispersão em laboratórios usuários do método estudado. Exatidão Grau de concordância entre o valor médio obtido de uma série de resultados de testes e um valor de referência aceito.

7 Precisão e Exatidão Precisão e Exatidão
Preciso e não Exato Preciso e não Exato Exato e não Preciso Exato e não Preciso Não Preciso e não Exato Não Preciso e não Exato Preciso e Exato Preciso e Exato

8 PRECISÃO Repetibilidade(r) Reprodutibilidade(R)
Diferença máxima permitida entre medidas obtidas no mesmo dia Reprodutibilidade(R) Diferença máxima permitida entre medidas obtidas em dias diferentes

9 PRECISÃO Ferramentas para obtenção - ISO 5725:
ANOVA: Repetibilidade; Reprodutibilidade Cartas de Controle

10 ANOVA Tabela ANOVA Separa e estima diferentes causas de variação
Ex: dias; laboratórios; métodos; analistas Tabela ANOVA

11 Com estes valores é possível obter :
ANOVA ANOVA: Comparação de resultados na análise de medida de pH obtidos entre laboratórios Laboratório 1 Laboratório 2 Com estes valores é possível obter : Dispersão dos Valores ( Teste de Dixon e Teste de Cochram ) Somatórias quadráticas Médias quadráticas Desvio Padrão F crítico e F calculado Repetibilidade Reprodutibilidade

12 MÉDIA QUADRÁTICA DOS DIAS (MQD)
MÉDIA QUADRÁTICA TOTAL (MQT) Onde : SQT = Somatória quadrática total  = Grau de liberdade MÉDIA QUADRÁTICA DOS DIAS (MQD) Onde : SQD = Somatória quadrática entre dias  = Grau de liberdade MÉDIA QUADRÁTICA ENTRE REPETIÇÕES (MQE) Onde : SQD = Somatória quadrática entre repetições  = Grau de liberdade

13 DESVIO PADRÃO No mesmo dia Desvio padrão total Em diferentes dias
Desvio padrão de R

14 SOMAS QUADRÁTICAS MÉDIAS QUADRÁTICAS
 = grau de liberdade, sendo que : para SQT = n - 1 ( n = número total de determinações ) para SQD = K - 1 ( K = número de dias de ensaio ) para SQE = K MÉDIAS QUADRÁTICAS

15 DESVIO PADRÃO Onde : ST = Desvio Padrão Total
SD = Desvio Padrão entre dias SE = Desvio Padrão no mesmo dia SR = Desvio Padrão Reprodutibilidade

16 Função de Snedecor para
COMPATIBILIDADE ENTRE AS MÉDIAS Função de Snedecor para 95 % de confiança Através do F calculado : F crítico = F tabelado = F 0,95 (n1, n2) Onde : n1 =  para SQD n2 =  para SQE

17 CÁLCULO DA REPETIBILIDADE( r) E REPRODUTIBILIDADE (R)
Onde :  2 = 2 repetições por ocasião t (  ; 0,025) = variável t de student para 95 % de confiança em  = n-1 grau de liberdade

18 EXPRESSÃO DO RESULTADO FINAL
Cálculo da Incerteza na média Onde : Ux = Incerteza na média ST = Desvio Padrão total n = número total de determinações t (n-1;0,025) = Variável de t de Student Expressão do Resultado Final Onde : Resultado =

19 Determinar o intervalo = { LI ; LS } através das fórmulas abaixo :
COMPARAÇÃO ENTRE AS MÉDIAS Método t gráfico : comparação entre médias obtidas entre diferentes métodos, laboratórios, analistas etc, Determinar o intervalo = { LI ; LS } através das fórmulas abaixo : Compatíveis : Se uma das médias se posicionar dentro do intervalo da outra e vice-versa. Não compatíveis : Se uma das médias não se posicionar dentro do intervalo da outra. Lia Xa LSa Lib Xb LSb

20 COMPARAÇÃO ENTRE AS MÉDIAS
AS MÉDIAS OBTIDAS PELOS LABORATÓRIOS SÃO COMPATÍVEIS

21 A comparação pelo teste F só pode ser realizada para
COMPARAÇÃO ENTRE AS VARIÂNCIAS Iguais quanto a precisão : Se F  Ftab Diferentes quanto a precisão : Se F > Ftab A comparação pelo teste F só pode ser realizada para 2 ocasiões.

22 Crosschecking entre Equipamentos Acetato de Isopentila - Densidade
Objetivo Avaliar medidas geradas em diferentes equipamentos aplicáveis à determinação da densidade, identificando o mais adequado para execução. Picnômetro Densímetro Densitômetro digital

23 Acetato de Isopentila - Densidade
Resultados Comparativos - Diferentes Equipamentos Comparação Gráfica dos Intervalos de Confiança das Médias Equipamentos Intervalo dos resultados obtidos Densidade

24 Comparação entre Equipamentos Acetato de Isopentila - Densidade
Picnômetro apresentou menor precisão, apesar de no geral se observar desvio pequeno. Densitômetro digital é o mais indicado para o atendimento à especificação.

25 Situações onde ANOVA pode ser Aplicada
Comparação de metodologia /equipamentos. Realização de acordo de especificações. Identificação das Necessidades de treinamento de técnicos. Avaliação de novos métodos. Validação de métodos. Avaliação de Precisão. /97

26 Robustez (ASTM 04853) Definição: Confiabilidade do método em relação aos parâmetros de interferência. Exemplo: avaliação de interferentes na análise de ativos em anfóteros.

27 Monocloroacetato de Sódio
Robustez Objetivo: Verificar contribuição e prováveis interferentes na determinação de teor de ativos em betaínas. Técnica: Planejamento experimental em dois níveis para 4 fatores. Tabela de Interferência em níveis testados Fatores Niveis Menor % Maior % Acido Graxo 0,06 0,6 Monocloroacetato de Sódio 0,0057 0,05 Glicolato 0,53 1,00 amidoamina 0,12

28 Tabela de respostas ativos em betaínas
Robustez Tabela de respostas ativos em betaínas Experimento Ac. Graxo MCA Glicolato Amidoamina %Ativo 1 37.8 2 -1 34.58 3 35.44 4 34.87 5 34.71 6 34.17 7 34.89 8 34.51 9 35.42 10 34.62 11 35.63 12 35.16 13 34.84 14 34.3 15 35.45 16 34.91

29 Tabela Efeito dos Componentes
Robustez Tabela Efeito dos Componentes Fator Efeito/Média% Erro Padrão Efeito/Erro Padrão Media 35,08 0.154 - Acido graxo (1) 0,080 0.308 0,26 MCA(2) 0,718 2,33 Glicolato(3) -0,05 0,17 Amidoamina(4) 0,882 2,84 1 e 2 0,385 1,25 1 e 3 0,440 1,43 1 e 4 0,295 0,96 2 e 3 0,382 1,24 2 e 4 3 e 4 0,392 Modelo Matemático: AG MCA – GLI Amidoamina AGMCA AG GLI Agamidoamina MCA GLI MCAamidoamina GLIamidoamina

30 Robustez Superfície de Resposta: Ácido Graxo/Amidoamina

31 Resultados: Aceitação/ Rejeição
Consistência com o conjunto de dados. Cochran: variação dentro do conjunto de dados. Dixon: Variação das extremidades do conjunto de dados

32 TESTE DE COCHRAN Calcular as amplitudes para cada conjunto de 2 repetições Organizar em ordem crescente de magnitude Realizar o cálculo do critério de Cochran conforme a equação : Comparar o valor de C obtido com a tabela de Valores Críticos para o teste de Cochran Reportar os resultados conforme a tabela abaixo :

33 TESTE DE DIXON Organizar os dados : do menor até o maior ( 1 = menor valor H = maior valor) Fazer o cálculo do critério de Dixon, conforme a tabela abaixo :

34 Resultados - NB 1191 - 88 Média = X +/- t d n
Importante: Não fornece tendências, não testa homogeneidade (carta de controle).

35 Exatidão Ferramentas para obtenção: Programas interlaboratoriais.
Cartas de Controle de amostras referências.

36 Programas Interlaboratoriais Avaliação estatística
Aplicação Compatibilização de resultados. Avaliação de exatidão / tendências. Obtenção de Materiais de referência (exatidão)  = +/- t * s/n. Reprodutibilidade R = 2 x 2 x S. Avaliação estatística Método de Youden ( elipse de confiança). Método z score.

37 Programas Interlaboratoriais Avaliação estatística
Youden Planejamento / organização / envio amostras; recebimento resultados. Procedimentos documentados. Avaliação estatística Detecção e tratamento de dados dispersos . Avaliação da normalidade de distribuição (Kolmogorov test). Método de Youden (elipse de confiança).

38 Programas Interlaboratoriais
Youden Comparação da tendência entre ocasiões, ex. 2 métodos Avaliação Gráfica

39 Programas Interlaboratoriais Interpretação Estatística
Youden Comparação da tendência entre ocasiões, ex. 2 métodos, visualização da exatidão de cada participante Interpretação Estatística Elipse deve incluir ~ 95% dos laboratórios. Pontos dentro da Elipse. Dispersão uniforme : satisfatório. Dispersão não uniforme : erros significativos. Pontos fora da Elipse. Próximo eixo maior : erros sistemáticos ( modificação método; calibração equipamento). Afastados eixo maior: erros aleatórios (variabilidade no lab).

40 Programas Interlaboratoriais Avaliação estatística
Z Score Comparação da tendência com o desvio padrão. Avaliação estatística Zi = ( xi - X ) /  onde: Xi = resultado do lab i X = valor médio da população ( estimativa do valor verdadeiro)  = desvio padrão da população

41 Programas Interlaboratoriais
Z Score Comparação da tendência com o desvio padrão Avaliação Gráfica

42 Programas Interlaboratoriais Interpretação estatística
Z Score Comparação da tendência com o desvio padrão Interpretação estatística Z < 1 BOM - ocorre 68% casos 1< Z < 2 Satisfatório % casos 2< Z < 3 Questionável - 5% casos Z> 3 Insatisfatório - 0,3 % casos

43 Otimizações Ferramentas: Planejamento de experimento (Robustez)
Espinha de Peixe.

44 Avaliação das Variáveis - Exemplo: Diagrama de Causa e Efeito para Processo de Medida
Causa Efeito Material Método Instrumento Reagentes/Matéria-prima Pureza Interferências Calibração Matriz Vidraçaria Limpeza Amostra Homogeneidade Aferição Valor da Medida Ventilação Capacitação Contaminação Iluminação Pressão Umidade Habilidade Temperatura Manutenção Analista/ Operador Ambiente Equipamento

45 Monitoramento Cartas de Controle Definição: acompanhamento estatístico utilizando gráficos. Aplicação: monitoramento de metodologias, equipamentos, processos.

46 Carta X R Ref: IMAN -1995 CÁLCULO DOS LIMITES DE CONTROLE
Carta de controle X R Gramas X Linhas de Controle Carta X R CÁLCULO DOS LIMITES DE CONTROLE LSCX= X + A2R LICX = X - A2R LSCR = D4R LICR = 0 (n = 6) Ref: IMAN -1995

47 Comparação com Especificação
Aplicabilidade Comparação com Especificação

48 CEP - Controle Estatístico de Processo
Visão Contínua ANOVA Precisão e Incerteza Visão Pontual Ref:Ponzetto 1996

49 Matrizes e Ambientes: PCA
Ferramentas para utilização do método em sistemas diversos.

50 Aplicabilidade das Técnicas
Objetivo Técnica Utilizada Precisão - repetibilidade, reprodu- tibilidade. Compatibilidade das médias entre si Compatibilidade entre diferentes ocasiões (situações) Comparação dos desvios da precisão entre diferentes situações Análise de Variância Teste F de Snedecor Método t - gráfico Método t - gráfico

51 Aplicabilidade das Técnicas
Objetivo Técnica Utilizada Comparação de médias com um valor ou entre si Incerteza da Média Compatibilidade entre diferentes ocasiões (situações)com diferentes amostras Prova de significância t prova bilateral - Teorema do Ponto Central - Prova do emparelhamento

52 Aplicabilidade das Técnicas
Objetivo Técnica Utilizada - Verificar interferentes - Avaliar exatidão Rejeição de valores - Comparar com especificações - Pesquisar causas de variação - Planejamento experimentos - Programa Interlaboratorial - Dixon(Q); Grubbs; Cochran; Bartlett; Huber - Cartas de Controle - Diagrama de Ishikawa

53 Bibliografia Wang,F; Du T.; Using principal component analysis in process performance for multivariate data. Omega 28 ( )-2000 Ribeiro,L;Cabral J.; The use and misuse of statistical tools – Journal of Mat. Processing Technology ( ) -(1999) Gardiner William , –Statistical Analysis Methods for Chemists –Royal Society of Chemistry-1997. PonzettoE;Nascimento H-Precisão e Incerteza-Uma abordagem Estatística Aliada à Qualidade de Produtos e Serviços. 5º Congresso Internacional de Tintas Sayers W.; Environmental Statistics and Data Analysis – Atmosferic Environment vol ; p Ponzetto E. , MA 501-Precisão e Incerteza de métodos analiticos Oxiteno-1996 Bruns R; Barros B; Scarminio I ; Planejamento e Otimização de Experimentos Ed Unicamp

54 Bibliografia Miller ,JC; Miller JN ;Estadística para Química Analítica –Segunda Edição Addison –Wesley Iberoamericana –1993 NBR 14597/2000- Precisão de Métodos Analíticos -Determinação da Repetibilidade e Reprodutibilidade de métodos para Ensaios de Produtos Químicos ASTM E Standard Practice for Conducting na Interlaboratory Study to Evaluate the Performance of an Analytical Method ASTM E 1301 –97 Guide for Proficiency testing by Interlaboratory Comparisons ASTM E Terminology relating to Design of Experiments ASTM D Standard Guide for Reducing Test Variability ASTM D Standard Practice for Utilization of Test Data to Determine Conformance with Specifications

55 Bibliografia ASTM E Standard Practice for Verification and Use of Control Charts in Spectrochemical Analysis ASTM D Standard Practice for comparing test Methods ASTM E Standard Guide for conducting Ruggdness Test ASTM E Standard Practice for conducting na Interlaboratory Study to determine the precision of a test Method