Lilian R. F. de Carvalho: FERRAMENTAS ESTATÍSTICAS PARA A ESCOLHA, VALIDAÇÃO, COMPARAÇÃO E MONITORAMENTO DE MÉTODOS ANALÍTICOS Heliara Lopes Nascimento (doutoranda) Prof ª. Dra Lilian Rothschild Franco de Carvalho (orientadora) Instituto de Química - Universidade de São Paulo LEMA - Laboratório de Estudos do Meio Ambiente Material utilizado em Seminário Geral da Pós-Gracuação em Química Analítica em 10/nov/2000 E-mail da orientadora: lrfdcarv@iq.usp.br Publicado na AllChemy-Série Alfa, em 04/mar/2001 http://allchemy.iq.usp/alfa

Variações são Expressas por Valores Numéricos Denominados Desvios Podem estar relacionadas com: Fontes gerais de desvios dentro do processo/situação Método de análise Processo sob Controle Variações são Expressas por Valores Numéricos Denominados Desvios

Necessidade de Novo Método Lilian R. F. de Carvalho: Fluxograma do Desenvolvimento de Método Analítico Dixon Cochran E 1488-96 ISO 5725 Necessidade de Novo Método Estado da Arte X Aplicação Testes Preliminares X Descrição do método Validação: Precisão, Exatidão, Limite Robustez E 1169 Resultados Aceitos Técnicas Aplicáveis de amostragem Reportar Resultados Comparar novas Metodologias ILS Proficiência ( E 1601 ) Requer Otimização Registrar e Evoluir Correlação Entre situações/ Matriz Monitoramento Pesquisar Causas de Variação Comparação com Especificação Conell Cartas de controle

Escolha do Método Objetivo / aplicação Especificação / limites desejados Levantamento do estado da arte: STN; Dialog; Infodisk Existência de padrões e materiais de referência Custo / beneficio Testar especificidade, linearidade, faixa, exatidão e precisão validação

Validação Tornar Legítimo. Estabelecer as Incertezas envolvidas. Conhecer Precisão, exatidão, linearidade e sensibilidade.

Validação Precisão Exatidão Grau de concordância entre repetidas medidas da mesma propriedade. Orienta quanto à probabilidade da dispersão em laboratórios usuários do método estudado. Exatidão Grau de concordância entre o valor médio obtido de uma série de resultados de testes e um valor de referência aceito.

Precisão e Exatidão Precisão e Exatidão Preciso e não Exato Preciso e não Exato Exato e não Preciso Exato e não Preciso Não Preciso e não Exato Não Preciso e não Exato Preciso e Exato Preciso e Exato

PRECISÃO Repetibilidade(r) Reprodutibilidade(R) Diferença máxima permitida entre medidas obtidas no mesmo dia Reprodutibilidade(R) Diferença máxima permitida entre medidas obtidas em dias diferentes

PRECISÃO Ferramentas para obtenção - ISO 5725: ANOVA: Repetibilidade; Reprodutibilidade Cartas de Controle

ANOVA Tabela ANOVA Separa e estima diferentes causas de variação Ex: dias; laboratórios; métodos; analistas Tabela ANOVA

Com estes valores é possível obter : ANOVA ANOVA: Comparação de resultados na análise de medida de pH obtidos entre laboratórios Laboratório 1 Laboratório 2 Com estes valores é possível obter : Dispersão dos Valores ( Teste de Dixon e Teste de Cochram ) Somatórias quadráticas Médias quadráticas Desvio Padrão F crítico e F calculado Repetibilidade Reprodutibilidade

MÉDIA QUADRÁTICA DOS DIAS (MQD) MÉDIA QUADRÁTICA TOTAL (MQT) Onde : SQT = Somatória quadrática total  = Grau de liberdade MÉDIA QUADRÁTICA DOS DIAS (MQD) Onde : SQD = Somatória quadrática entre dias  = Grau de liberdade MÉDIA QUADRÁTICA ENTRE REPETIÇÕES (MQE) Onde : SQD = Somatória quadrática entre repetições  = Grau de liberdade

DESVIO PADRÃO No mesmo dia Desvio padrão total Em diferentes dias Desvio padrão de R

SOMAS QUADRÁTICAS MÉDIAS QUADRÁTICAS  = grau de liberdade, sendo que : para SQT = n - 1 ( n = número total de determinações ) para SQD = K - 1 ( K = número de dias de ensaio ) para SQE = K MÉDIAS QUADRÁTICAS

DESVIO PADRÃO Onde : ST = Desvio Padrão Total SD = Desvio Padrão entre dias SE = Desvio Padrão no mesmo dia SR = Desvio Padrão Reprodutibilidade

Função de Snedecor para COMPATIBILIDADE ENTRE AS MÉDIAS Função de Snedecor para 95 % de confiança Através do F calculado : F crítico = F tabelado = F 0,95 (n1, n2) Onde : n1 =  para SQD n2 =  para SQE

CÁLCULO DA REPETIBILIDADE( r) E REPRODUTIBILIDADE (R) Onde :  2 = 2 repetições por ocasião t (  ; 0,025) = variável t de student para 95 % de confiança em  = n-1 grau de liberdade

EXPRESSÃO DO RESULTADO FINAL Cálculo da Incerteza na média Onde : Ux = Incerteza na média ST = Desvio Padrão total n = número total de determinações t (n-1;0,025) = Variável de t de Student Expressão do Resultado Final Onde : Resultado =

Determinar o intervalo = { LI ; LS } através das fórmulas abaixo : COMPARAÇÃO ENTRE AS MÉDIAS Método t gráfico : comparação entre médias obtidas entre diferentes métodos, laboratórios, analistas etc, Determinar o intervalo = { LI ; LS } através das fórmulas abaixo : Compatíveis : Se uma das médias se posicionar dentro do intervalo da outra e vice-versa. Não compatíveis : Se uma das médias não se posicionar dentro do intervalo da outra. Lia Xa LSa Lib Xb LSb

COMPARAÇÃO ENTRE AS MÉDIAS AS MÉDIAS OBTIDAS PELOS LABORATÓRIOS SÃO COMPATÍVEIS

A comparação pelo teste F só pode ser realizada para COMPARAÇÃO ENTRE AS VARIÂNCIAS Iguais quanto a precisão : Se F  Ftab Diferentes quanto a precisão : Se F > Ftab A comparação pelo teste F só pode ser realizada para 2 ocasiões.

Crosschecking entre Equipamentos Acetato de Isopentila - Densidade Objetivo Avaliar medidas geradas em diferentes equipamentos aplicáveis à determinação da densidade, identificando o mais adequado para execução. Picnômetro Densímetro Densitômetro digital

Acetato de Isopentila - Densidade Resultados Comparativos - Diferentes Equipamentos Comparação Gráfica dos Intervalos de Confiança das Médias Equipamentos Intervalo dos resultados obtidos Densidade

Comparação entre Equipamentos Acetato de Isopentila - Densidade Picnômetro apresentou menor precisão, apesar de no geral se observar desvio pequeno. Densitômetro digital é o mais indicado para o atendimento à especificação.

Situações onde ANOVA pode ser Aplicada Comparação de metodologia /equipamentos. Realização de acordo de especificações. Identificação das Necessidades de treinamento de técnicos. Avaliação de novos métodos. Validação de métodos. Avaliação de Precisão. 1618 - 09/97

Robustez (ASTM 04853) Definição: Confiabilidade do método em relação aos parâmetros de interferência. Exemplo: avaliação de interferentes na análise de ativos em anfóteros.

Monocloroacetato de Sódio Robustez Objetivo: Verificar contribuição e prováveis interferentes na determinação de teor de ativos em betaínas. Técnica: Planejamento experimental em dois níveis para 4 fatores. Tabela de Interferência em níveis testados Fatores Niveis   Menor % Maior % Acido Graxo 0,06 0,6 Monocloroacetato de Sódio 0,0057 0,05 Glicolato 0,53 1,00 amidoamina 0,12

Tabela de respostas ativos em betaínas Robustez Tabela de respostas ativos em betaínas Experimento Ac. Graxo MCA Glicolato Amidoamina %Ativo 1 37.8 2 -1 34.58 3 35.44 4 34.87 5 34.71 6 34.17 7 34.89 8 34.51 9 35.42 10 34.62 11 35.63 12 35.16 13 34.84 14 34.3 15 35.45 16 34.91

Tabela Efeito dos Componentes Robustez Tabela Efeito dos Componentes Fator Efeito/Média% Erro Padrão Efeito/Erro Padrão Media 35,08 0.154 - Acido graxo (1) 0,080 0.308 0,26 MCA(2) 0,718 2,33 Glicolato(3) -0,05 0,17 Amidoamina(4) 0,882 2,84 1 e 2 0,385 1,25 1 e 3 0,440 1,43 1 e 4 0,295 0,96 2 e 3 0,382 1,24 2 e 4 3 e 4 0,392 Modelo Matemático: 35.08 + 0.04 AG + 0.36 MCA – 0.034 GLI + 0.44 Amidoamina + 0.19 AGMCA + 0.22AG GLI + 0.15 Agamidoamina + 0.19 MCA GLI + 0.19 MCAamidoamina + 0.19 GLIamidoamina

Robustez Superfície de Resposta: Ácido Graxo/Amidoamina

Resultados: Aceitação/ Rejeição Consistência com o conjunto de dados. Cochran: variação dentro do conjunto de dados. Dixon: Variação das extremidades do conjunto de dados

TESTE DE COCHRAN Calcular as amplitudes para cada conjunto de 2 repetições Organizar em ordem crescente de magnitude Realizar o cálculo do critério de Cochran conforme a equação : Comparar o valor de C obtido com a tabela de Valores Críticos para o teste de Cochran Reportar os resultados conforme a tabela abaixo :

TESTE DE DIXON Organizar os dados : do menor até o maior ( 1 = menor valor H = maior valor) Fazer o cálculo do critério de Dixon, conforme a tabela abaixo :

Resultados - NB 1191 - 88 Média = X +/- t d n Importante: Não fornece tendências, não testa homogeneidade (carta de controle).

Exatidão Ferramentas para obtenção: Programas interlaboratoriais. Cartas de Controle de amostras referências.

Programas Interlaboratoriais Avaliação estatística Aplicação Compatibilização de resultados. Avaliação de exatidão / tendências. Obtenção de Materiais de referência (exatidão)  = +/- t * s/n. Reprodutibilidade R = 2 x 2 x S. Avaliação estatística Método de Youden ( elipse de confiança). Método z score.

Programas Interlaboratoriais Avaliação estatística Youden Planejamento / organização / envio amostras; recebimento resultados. Procedimentos documentados. Avaliação estatística Detecção e tratamento de dados dispersos . Avaliação da normalidade de distribuição (Kolmogorov test). Método de Youden (elipse de confiança).

Programas Interlaboratoriais Youden Comparação da tendência entre ocasiões, ex. 2 métodos Avaliação Gráfica

Programas Interlaboratoriais Interpretação Estatística Youden Comparação da tendência entre ocasiões, ex. 2 métodos, visualização da exatidão de cada participante Interpretação Estatística Elipse deve incluir ~ 95% dos laboratórios. Pontos dentro da Elipse. Dispersão uniforme : satisfatório. Dispersão não uniforme : erros significativos. Pontos fora da Elipse. Próximo eixo maior : erros sistemáticos ( modificação método; calibração equipamento). Afastados eixo maior: erros aleatórios (variabilidade no lab).

Programas Interlaboratoriais Avaliação estatística Z Score Comparação da tendência com o desvio padrão. Avaliação estatística Zi = ( xi - X ) /  onde: Xi = resultado do lab i X = valor médio da população ( estimativa do valor verdadeiro)  = desvio padrão da população

Programas Interlaboratoriais Z Score Comparação da tendência com o desvio padrão Avaliação Gráfica

Programas Interlaboratoriais Interpretação estatística Z Score Comparação da tendência com o desvio padrão Interpretação estatística Z < 1 BOM - ocorre 68% casos 1< Z < 2 Satisfatório - 27 % casos 2< Z < 3 Questionável - 5% casos Z> 3 Insatisfatório - 0,3 % casos

Otimizações Ferramentas: Planejamento de experimento (Robustez) Espinha de Peixe.

Avaliação das Variáveis - Exemplo: Diagrama de Causa e Efeito para Processo de Medida Causa Efeito Material Método Instrumento Reagentes/Matéria-prima Pureza Interferências Calibração Matriz Vidraçaria Limpeza Amostra Homogeneidade Aferição Valor da Medida Ventilação Capacitação Contaminação Iluminação Pressão Umidade Habilidade Temperatura Manutenção Analista/ Operador Ambiente Equipamento

Monitoramento Cartas de Controle Definição: acompanhamento estatístico utilizando gráficos. Aplicação: monitoramento de metodologias, equipamentos, processos.

Carta X R Ref: IMAN -1995 CÁLCULO DOS LIMITES DE CONTROLE Carta de controle X R Gramas X Linhas de Controle Carta X R CÁLCULO DOS LIMITES DE CONTROLE LSCX= X + A2R LICX = X - A2R LSCR = D4R LICR = 0 (n = 6) Ref: IMAN -1995

Comparação com Especificação Aplicabilidade Comparação com Especificação

CEP - Controle Estatístico de Processo Visão Contínua ANOVA Precisão e Incerteza Visão Pontual Ref:Ponzetto 1996

Matrizes e Ambientes: PCA Ferramentas para utilização do método em sistemas diversos.

Aplicabilidade das Técnicas Objetivo Técnica Utilizada Precisão - repetibilidade, reprodu- tibilidade. Compatibilidade das médias entre si Compatibilidade entre diferentes ocasiões (situações) Comparação dos desvios da precisão entre diferentes situações Análise de Variância Teste F de Snedecor Método t - gráfico Método t - gráfico

Aplicabilidade das Técnicas Objetivo Técnica Utilizada Comparação de médias com um valor ou entre si Incerteza da Média Compatibilidade entre diferentes ocasiões (situações)com diferentes amostras Prova de significância t prova bilateral - Teorema do Ponto Central - Prova do emparelhamento

Aplicabilidade das Técnicas Objetivo Técnica Utilizada - Verificar interferentes - Avaliar exatidão Rejeição de valores - Comparar com especificações - Pesquisar causas de variação - Planejamento experimentos - Programa Interlaboratorial - Dixon(Q); Grubbs; Cochran; Bartlett; Huber - Cartas de Controle - Diagrama de Ishikawa

Bibliografia Wang,F; Du T.; Using principal component analysis in process performance for multivariate data. Omega 28 (185-194)-2000 Ribeiro,L;Cabral J.; The use and misuse of statistical tools – Journal of Mat. Processing Technology 92-93 (288-292) -(1999) Gardiner William , –Statistical Analysis Methods for Chemists –Royal Society of Chemistry-1997. PonzettoE;Nascimento H-Precisão e Incerteza-Uma abordagem Estatística Aliada à Qualidade de Produtos e Serviços. 5º Congresso Internacional de Tintas - 1997 Sayers W.; Environmental Statistics and Data Analysis – Atmosferic Environment vol 30 .20; p 3551-1996 Ponzetto E. , MA 501-Precisão e Incerteza de métodos analiticos Oxiteno-1996 Bruns R; Barros B; Scarminio I ; Planejamento e Otimização de Experimentos Ed Unicamp - 1995

Bibliografia Miller ,JC; Miller JN ;Estadística para Química Analítica –Segunda Edição Addison –Wesley Iberoamericana –1993 NBR 14597/2000- Precisão de Métodos Analíticos -Determinação da Repetibilidade e Reprodutibilidade de métodos para Ensaios de Produtos Químicos ASTM E 1601-98Standard Practice for Conducting na Interlaboratory Study to Evaluate the Performance of an Analytical Method ASTM E 1301 –97 Guide for Proficiency testing by Interlaboratory Comparisons ASTM E 132 -97 Terminology relating to Design of Experiments ASTM D 4853- 97 Standard Guide for Reducing Test Variability ASTM D3244-97 Standard Practice for Utilization of Test Data to Determine Conformance with Specifications

Bibliografia ASTM E 1329-96 Standard Practice for Verification and Use of Control Charts in Spectrochemical Analysis ASTM D4855-91 Standard Practice for comparing test Methods ASTM E 1169-89 Standard Guide for conducting Ruggdness Test ASTM E691-92 Standard Practice for conducting na Interlaboratory Study to determine the precision of a test Method