AVALIAÇÃO de ENSAIO DE PROFICIÊNCIA

Slides:



Advertisements
Apresentações semelhantes
Agência Nacional de Vigilância Sanitária 1 NBR ISO/IEC NBR ISO/IEC NBR ISO/IEC NBR ISO/IEC NBR ISO/IEC
Advertisements

Agência Nacional de Vigilância Sanitária Organização NBR ISO/IEC 17025: INMETRO NIT DICLA 083:
Ação Corretiva NBR ISO/IEC 17025:
Validação e Verificação do APPCC
S. A S. A Indústria e Comércio Ltda. Indústria Metalúrgica
Sistemas de Gestão Integrada
Análise de Alimentos Introdução à Análise de Alimentos
Segurança de Qualidade Analítica
Instrutor: Objetivos:.
GERENCIAMENTO DE AQUISIÇÕES PMBOK
EXEMPLO DE FLUXO PARA O DESENVOLVIMENTO DE ANÁLISE CRÍTICA DO SGQ
Auditoria da Qualidade
Agência Nacional de Vigilância Sanitária Seminário Internacional sobre Sistema da Qualidade em Laboratórios SP - Setembro 2003 NBR ISO/IEC.
Gestão de Projetos Ms. Karine R. de Souza
CALIBRAÇÃO.
CGCRE/INMETRO Acreditação de Laboratórios
NBR ISO Diretrizes para planos de qualidade
Equipamentos NBR ISO/IEC 17025:
CURSO TÉCNICO EM SEGURANÇA DO TRABALHO
Encontro Nacional de Organismos de Avaliação da Conformidade 10 de junho de 2009.
INMETRO/DQUAL/DICLA CREDENCIAMENTO ISO/IEC ENLAB - DEZEMBRO/2000.
Processo de Aquisição Adilson de Almeida Cezar Meriguetti
Experiência Laboratorial Privada ( BASF ) na Acreditação em BPL
Agência Nacional de Vigilância Sanitária Equipamentos NBR ISO/IEC 17025: INMETRO NIT DICLA 083:
AUDITORIA, avaliação de Desempenho e Qualidade
EQUIPAMENTOS NBR ISO/IEC – 5.5
ATIVIDADES DE EXECUÇÃO DA AUDITORIA
Instrutor: Objetivos:.
Agência Nacional de Vigilância Sanitária EP avalia a capacidade do laboratório em: Desempenhar os ensaios de forma competente.  Auto.
Rastreabilidade de Medição
Agência Nacional de Vigilância Sanitária Métodos de ensaio e calibração e Validação de métodos NBR ISO/IEC 17025: INMETRO.
Agência Nacional de Vigilância Sanitária Garantia da Qualidade de resultados de ensaio e calibração NBR ISO/IEC 17025: INMETRO.
Manuseio de itens de Ensaio e Calibração NBR ISO/IEC 17025:
Agência Nacional de Vigilância Sanitária Amostragem NBR ISO/IEC 17025: INMETRO NIT DICLA 083:
Agência Nacional de Vigilância Sanitária FUNASA / ANVISA/ INCQS Ministério da Saúde CURSO DE AUDITORIA INTERNA E DE GESTÃO DA QUALIDADE.
EPR16 – Planejamento e Gestão da Qualidade Professora Michelle Luz
Agência Nacional de Vigilância Sanitária SISTEMA DA QUALIDADE SEGUNDO A NBR ISO/IEC AQUISIÇÃO DE SERVIÇOS E SUPRIMENTOS NBR ISO/IEC.
Brasilia, 05 de setembro de 2014 MARCOS AURÉLIO LIMA OLIVEIRA Coordenação Geral de Acreditação.
CURSO DE INTERPRETAÇÃO DA NORMA NACIONAL DE QUALIDADE
11 Confiabilidade de Processos de Medição na Indústria
NBR ISO/IEC INTRODUÇÃO-.
Agência Nacional de Vigilância Sanitária FUNASA / ANVISA/ INCQS Ministério da Saúde CURSO DE AUDITORIA INTERNA E DE GESTÃO DA QUALIDADE.
Agência Nacional de Vigilância Sanitária SISTEMA DA QUALIDADE SEGUNDO A NBR ISO/IEC ANÁLISE CRÍTICA DOS PEDIDOS, PROPOSTAS E CONTRATOS.
Agência Nacional de Vigilância Sanitária CALIBRAÇÃOCALIBRAÇÃO.
Agência Nacional de Vigilância Sanitária FUNASA / ANVISA / INCQS Ministério da Saúde CURSO DE AUDITORIA INTERNA E DE GESTÃO DA QUALIDADE.
Agência Nacional de Vigilância Sanitária A palavra é QUALIDADE.
CONTROLE DA QUALIDADE.
Agência Nacional de Vigilância Sanitária Aquisição de Serviços e Suprimentos NBR ISO/IEC 17025: INMETRO NIT DICLA 083:00 -
Agência Nacional de Vigilância Sanitária FUNASA / ANVISA/ INCQS Ministério da Saúde CURSO DE AUDITORIA INTERNA E DE GESTÃO DA QUALIDADE.
Agência Nacional de Vigilância Sanitária FUNASA / ANVISA/ INCQS Ministério da Saúde CURSO DE AUDITORIA INTERNA E DE GESTÃO DA QUALIDADE.
SISTEMA DA QUALIDADE SEGUNDO A NBR ISO IEC 17025
Análise Crítica de Pedidos, Propostas e Contratos
Agência Nacional de Vigilância Sanitária FUNASA / ANVISA/ INCQS Ministério da Saúde CURSO DE AUDITORIA INTERNA E DE GESTÃO DA QUALIDADE.
Garantia de resultados de ensaios de calibração de equipamentos
Desmistificando o ABNT ISO Guia 34
Desmistificando o ABNT/ISO Estudo de Caso do INCQS
4º Estudo de Caso (Dquim – Inmetro) Isabel Cristina Serta Fraga
Agência Nacional de Vigilância Sanitária Tipos de Programas para Ensaio de Proficiência:  Programas de comparação de medição: O artefato.
Revisão da Norma ISO 9001:2008 Revisão da Norma ISO 9001:2000 para ISO 9001:2008 Impactos sobre o Sistema de Gestão da Qualidade Informativo Técnico.
Gerenciamento da Qualidade
10 a 12/11/15 Ana Cristina Diniz Maciel Follador Dicap – Divisão de Capacitação em Acreditação da Cgcre Redação de evidências.
10 a 12/11/15 Amostra Representativa do escopo Gloria Maria Pereira da Silva Chefe da Nualc.
10 a 12/11/15 Treinamento sobre o Novo Papel do Avaliador Líder Patricia Weigert de Camargo Chefe da Nuale MUDANÇAS NA NIT-DICLA-029 DECORRENTES DA AVALIAÇÃO.
10 a 12/11/15 LEMBRETES SOBRE AVALIAÇÃO DE ENSAIOS DE PROFICIÊNCIA. (Oriundos da avaliação da Cgcre pela IAAC) Mauricio Araujo Soares Dicla/Cgcre/Inmetro.
10 a 12/11/15 Acompanhamento dos resultados da Auditoria de Medição O que deve ser observado? Rio de Janeiro 12/11/2015 Mário Fernandes Setor de Confiabilidade.
Agência Nacional de Vigilância Sanitária SISTEMA DA QUALIDADE SEGUNDO AO NBR ISO IEC ANÁLISE CRÍTICA PELA GERÊNCIA NBR ISO/IEC.
ERROS E TRATAMENTO DE DADOS ANALÍTICOS
Autor : Lênin Charqueiro. Pelotas,8 de março de
CURSO CONTROLE DE EQUIPAMENTOS DE MEDIDAS E INTERPRETAÇÃO DE DADOS DE CERTIFICADOS DE CALIBRAÇÃO. ISO/IEC 17025: Controle de Equipamentos de Medidas.
REQUISITOS GERENCIAIS
Transcrição da apresentação:

AVALIAÇÃO de ENSAIO DE PROFICIÊNCIA CEFET- BA/ julho 2006 Alice M. Sakuma Instituto Adolfo Lutz alice@ial.sp.gov.br

Programas Interlaboratoriais O que são? Por que participar? Para que servem? Qual a relação custo x benefício? Qual a relação entre participação em PIs e confiabilidade dos resultados?

Definições Comparação Interlaboratorial/Programa Interlaboratorial (PI) “Organização, desempenho e avaliação de ensaios nos mesmos itens ou em itens de ensaio similares por dois ou mais laboratórios de acordo com condições pré-determinadas” (ABNT ISO/IEC 43-1) Ensaio de Proficiência “Determinação do desempenho de laboratório por meio de comparação interlaboratorial” ( ISO 3534-1)

Programas Interlaboratoriais É uma das ferramentas da garantia da qualidade e do controle da qualidade; É umas das formas mais transparentes de demonstrar a competência de laboratórios, com pouca oportunidade de falsificação ou manipulação dos resultados; Outras ferramentas são: 1. uso de materiais de referência certificados; 2. uso de métodos validados;

Por que Participar de PIs? “Ensaio de Proficiência fornece aos laboratórios participantes um meio objetivo de avaliar e demonstrar a confiabilidade dos dados produzidos.” Protocolo harmonizado Ajuda o laboratório participante a avaliar a exatidão dos seus resultados; ISO 5725-1994 É recomendado aos laboratórios acreditados ou em fase de acreditação;

Por que Participar de PIs? Diminuir divergências de resultados entre laboratórios;   Minimizar os prejuízos às empresas e aos órgãos regulamentadores; Fornecer confiança adicional aos clientes; Identificar diferenças interlaboratoriais.

Por que Participar de PIs? NBR ISO/IEC 17025 4. Requisitos de Gerenciamento: 4.14. Análise Crítica pela Alta Administração Analisar periodicamente o sistema da qualidade e as atividades de ensaios e calibrações, para garantir adequação e efetividade: resultados de comparações interlaboratoriais e ensaios de proficiência; adequação de políticas e procedimentos; relatórios gerenciais; resultados da auditoria interna; ações corretivas e preventivas; avaliações por organismos externos; mudanças no tipo e volume do trabalho; informações de clientes; reclamações; treinamento do pessoal; etc.

Por que Participar de PIs? NBR ISO/IEC 17025 5. Requisitos Técnicos 5.4. Métodos de Ensaio e Calibração e Validação de Métodos Validação de métodos: é a confirmação por exame e fornecimento de evidência objetiva de que os requisitos específicos para um determinado uso pretendido são atendidos. calibração usando padrões ou materiais de referência; comparação de resultados obtidos por outros métodos; comparações interlaboratoriais; avaliação da incerteza dos resultados.

Por que Participar de PIs? NBR ISO/IEC 17025 5. Requisitos Técnicos 5.6. Rastreabilidade das Medições Calibração: Certas calibrações não podem ser feitas estritamente no SI de unidades. Nestes casos a confiabilidade deve ser obtida pelo uso de: materiais de referência certificados; métodos especificados e/ou padrões de consenso; participação em programas de comparações interlaboratoriais.

Por que Participar de PIs? NBR ISO/IEC 17025 5. Requisitos Técnicos 5.9. Garantia da Qualidade dos Resultados Procedimentos de controle da qualidade dos ensaios e calibrações Uso de materiais de referência certificados; Participação em comparações interlaboratoriais ou ensaios de proficiência; Replicar os ensaios e calibrações, usando os mesmos métodos ou métodos diferentes; Correlacionar os resultados para diferentes características de um item.

Por que Participar de PIs? INMETRO - NIT-DICLA-026 – Rev. 02 – junho/03 Requisitos sobre a participação dos laboratórios de ensaios em atividades de ensaio de proficiência Item 8.1 : Os laboratórios devem demonstrar a competência técnica na realização dos ensaios acreditados por meio da participação satisfatória em atividades de ensaio de proficiência, onde tais atividades estiverem disponíveis.

Por que Participar de PIs? INMETRO - NORMA Nº NIT-DICLA-026 – Rev. 02 – junho/03 Item 8.4 - Requisitos sobre a participação dos laboratórios de ensaios em atividades de ensaio de proficiência, os resultados da participação em Pis são monitorados pelo INMETRO para assegurar que laboratórios. com desempenho insatisfatório tomem as ações corretivas ou poderão ter a acreditação cancelada

Para que participar de PIs? Os PIs avaliam a habilidade do laboratório em realizar ensaios de forma competente e podem incluir avaliação: 1. pelo próprio laboratório; 2. por seus clientes; 3. pelos organismos de acreditação/habilitação ou regulamentadores

Benefícios da Participação em PIs Avalia a necessidade de treinamento; Melhoria na qualidade dos serviços prestados; Diminui o número de re-ensaios;

Benefícios da Participação em PIs Melhora a confiabilidade metrológica dos dados emitidos pelo laboratório; Auxilia na identificação dos tipos de erros cometidos pelo laboratório (sistemáticos e/ou aleatórios); Monitora as metodologias, analistas e a calibração dos equipamentos;

Objetivos de PIs Avaliar o desempenho dos laboratórios atuantes na área; Estimular os participantes a apresentar desempenho satisfatório; Permitir que o laboratório participante avalie seu desempenho ao longo do tempo; Permitir que o laboratório participante compare seu desempenho com os demais laboratórios; Deve permitir que os provedores observem se houve uma melhoria no desempenho ao longo do tempo;

ENSAIO DE PROFICIÊNCIA PARA CHUMBO EM SANGUE do IAL

Tipos de Programas Interlaboratoriais Programas qualitativos: identificar componentes de um item de ensaio; Programas com um único item de ensaio: um item de ensaio é enviado sequencialmente aos participantes; Programas contínuos: frequência de rodadas definidas;

Tipos de Programas Interlaboratoriais Descrição Ensaio de Proficiência Avaliação do desempenho dos laboratórios, da competência técnica Estudo Colaborativo Avaliação do desempenho de uma metodologia Compatibilização de Resultados Comparação dos resultados entre laboratórios Certificação de Material de Referência Estimativa do “valor real” de um ou mais analitos em um material Estudo Cooperativo ou Avaliação do lab. em uma base ensaio circular individual

Programa Interlaboratorial: Ensaio de Proficiência (EP) EP testa exatidão dos resultados; Avalia desempenho de laboratórios; Métodos de livre escolha; Coletar dados de várias rodadas ou vários anos (um único round não fornece informação suficiente); EP é diferente de estudo colaborativo; EP possibilita o cálculo de RSD da repro; Avaliar bias do método.

Programa interlaboratorial: Estudo Colaborativo Protocolo detalhado para avaliar um método analítico; Método é definido pelo coordenador; Número mínimo de 8 participantes; Amostra: 5 ou mais, incluindo duplicatas cegas; Deve incluir amostras controle ou MRC; Análise estatística dos resultados / relatório; Análise crítica do desempenho do método.

Programas para Certificação Devem participar laboratórios qualificados, experientes nas técnicas; Amostras são homogêneas e estáveis, não têm valores conhecidos; Avaliação estatística dos resultados; Reuniões técnicas de avaliação; podem haver muitas rodadas até a obtenção de valores compatíveis;

Referências e Normas ABNT ISO/IEC 43-1 e 43 -2: 1999 AOAC/ISO/IUPAC International Harmonized Protocol to proficiency testing 2004 ISO 5725: 1994 – Accuracy (trueness and precision) of measurement methods and results – Part 2 ILAC G13 – 2000 Guidelanes for the requirements for the competence of providers of proficiency testing schemes Eurachem 1.0/2000 – Guia sobre seleção, uso e interpretação dos programas de ensaios de proficiência (EP)

Referências e Normas ISO/DIS 13528- 2000 : Statistical methods for use in proficiency testing by interlaboratory comparisons ANVISA/GGLAS 02/43 – Critérios para habilitação de provedores de ensaio de proficiência. INMETRO NIT DICLA 26 – Requisitos sobre a participação em atividades de ensaios de proficiência

Atividades de um Programa Interlaboratorial Convites/Instruções Escolha/Preparo dos itens de ensaio Homogeneidade// Estabilidade Embalagens, Identificação, Formulário para Resultados, Envio das Amostras Recebimento dos Resultados Análise dos dados/Análise Estatística Elaboração do Relatório Envio do Relatório

Convites/Instruções Coordenador envia convites aos laboratórios; Manual do participante: que devem conter informações sobre: objetivos, itens de ensaio, ensaios, métodos, instruções para o registro dos resultados, cronograma das rodadas, confidencialidade, avaliação estatística, critérios de desempenho, relatório, taxas.

Preparação dos Itens de Ensaio Pode ser contratada ou realizada pelo coordenador; Avaliar as condições que possam afetar os itens de ensaio; Os itens de ensaio devem ser o mais similar possível às amostras ensaiadas rotineiramente pelo laboratório; O número de amostras depende de algum requisito; O valor designado não deve ser divulgado até a emissão do relatório final; Em alguns casos são informadas as faixas a serem atingidas; Amostras excedentes devem ser preparadas.

Gerenciamento dos Itens de Ensaio Documentar os procedimentos de amostragem, seleção aleatória, transporte, recebimento, identificação, rotulagem, armazenamento e manuseio das amostras; O coordenador deve garantir a homogeneidade e estabilidade dos itens de ensaio; Os participantes devem ser informados de quaisquer riscos que os itens de ensaio possam ocasionar.

Homogeneidade Mostrar que a variação na composição da amostra distribuída é desprezível em relação à variação introduzida pelos medidas realizadas pelos laboratórios participantes; O método deve ser suficientemente preciso; Usar teste de hipótese; ANOVA

Homogeneidade O provedor deve realizar corretamente o teste de homogeneidade: amostras aleatórias, homogeneização antes das análises, análises aleatórias das duplicatas; O provedor deve ter as instruções detalhadas do teste de homogeneidade;

Resultados Dispersos no Teste de Homogeneidade Resultados entre réplicatas discordantes devem ser eliminados(teste de Cochran); Resultados entre réplicas são concordantes, porém a média é discrepante em relação ao conjunto - não eliminar Protocolo harmonizado 2004

Estabilidade do Item de Ensaio Material distribuído deve ser suficientemente estável até o retorno final dos resultados; Teste de estabilidade: comparar os resultados do analito entre as amostras conservadas em condições normais e em condições extremas;

Escolha do método: ensaio de proficiência O método é de livre escolha do laboratório participante; Deve ser o usado normalmente na rotina do laboratório; O coordenador deve solicitar detalhes dos métodos usados para comparação dos resultados e comentários.

Análise dos Dados/Projeto Estatístico Levar em consideração: A precisão e exatidão do ensaio; As menores diferenças a serem detectadas entre os laboratórios participantes; O número de laboratórios participantes; Número de amostras e o número de ensaios repetidos a serem realizados; Os procedimentos a serem usados para estimar o valor designado; Os procedimentos a serem usados para identificar os valores dispersos.

Avaliação dos Resultados de PIs O provedor deve estabelecer dois valores para a avaliação dos resultados de um PI: 1. Um valor como posição central: valor designado ou melhor estimativa do valor verdadeiro; 2. Um valor de dispersão

Avaliação dos Resultados de PIs Recebimento e registro dos resultados de cada participante; Selecionar a estatística a ser utilizada (clássica e/ou robusta); Eliminar resultados dispersos (outliers) quando se usa estatística clássica; Verificar se as médias individuais válidas apresentam distribuição normal (gaussiana); Definir medida de posição central (média, mediana); Definir medida de dispersão (desvio padrão alvo).

Exemplos de Avaliação dos Resultados de PIs Tipo de Comparação Interlaboratorial Tipo de Tratamento Estatístico Ensaio de Proficiência Z-score Estudo de Precisão de Método Anova/ISO 5725 Certificação de Material de Referência Anova / ISO 35 Compatibilização de Resultados Método de Youden Calibração Erro Normalizado

Valor Designado (VD) Valor utilizado no Ensaio de proficiência como valor verdadeiro; Melhor estimativa possível do valor verdadeiro; Estimativa do mensurando para cálculo do escore; Não deve ser divulgado até a emissão do relatório final.

Seleção de métodos para determinação do valor designado Custos ao provedor e aos participantes; Exigência legal - VD consistente com resultados de laboratórios de referência ou outras organizações; VD rastreável a um valor de referência particular.

Métodos para Determinação do Valor Designado 1. Valor certificado do MRC Valor designado é o valor certificado 2. Determinado por um Laboratório de Referência Laboratório altamente qualificado; Equivale a usar MRC; 3. Comparação direta com MRC Material teste é analisado sob condições de REPÊ com o MRC, usando método com baixa incerteza; VD calculado com base no valor certificado.

Métodos para Determinação do Valor Designado (VD) 4. Valor de consenso de laboratórios especialistas - Laboratórios especialistas analisam o material do EP usando métodos de referência reconhecidos 5. Formulação Adição de quantidade ou concentração conhecida do analito em um material base; O ligação do analito na amostra pode ser diferente do adicionado; Homogeneidade é mais difícil em materiais sólidos;

Métodos para Determinação do Valor Designado (VD) 6. Consenso dos Participantes Valor designado é o consenso dos resultados de todos os participantes, excluindo os resultados aberrantes - Desvantagens: - Depende dos resultados; - Incerteza aumenta quando o Nº laboratórios é pequeno; Vantagens - Baixo custo; - Comparável aos determinados por formulação, valor de referencia, laboratórios especialistas.

Cálculo do Valor Designado Estatística paramétrica ou clássica 1. Requer distribuição normal; 2. Sofre influência de resultados discrepantes: usar testes para eliminação, por ex. Grubbs, Dixon, Cochran etc.; 3. Calcular a Média e Desvio padrão; Estatística Não paramétrica ou distribuição livre e robusta: 1. Para conjunto de resultados com distribuição sem normalidade; 2. Não sofre influência de valores dispersos; 3. Calcular a Mediana e Desvio absoluto da mediana

Programa Interlaboratorial de Análise de Água ANVISA/IPT Amostra: Material de referência preparado pelo NIST Laboratórios participantes: 14 laboratórios escolhidos pela ANVISA Ensaios: Íons de metais Método analítico: livre escolha do participante

Análise dos Dados Comparação dos resultados dos participantes com os valores de referência do NIST; Média de consenso com todos os resultados dos laboratórios participantes; Z - score

Z-score = resultado médio fornecido Desempenho satisfatório pelo laboratório = média de consenso, obtida a partir de todos os resultados absolutos = desvio padrão Desempenho satisfatório Desempenho questionável Desempenho insatisfatório

Programa Interlaboratorial de Análise de Água ANVISA/IPT Relatório Programa Interlaboratorial de Análise de Água ANVISA/IPT

Programa Interlaboratorial para Sulfato em Água: Nº 1 Amostra: Material de referência preparado e certificado pelo coordenador; Participantes: laboratórios do Chile, Alemanha, Bolívia, Brasil, Equador, Nicarágua, Panamá e Peru; Método analítico: livre escolha do participante;

Análise dos Dados Cálculo da média de cada laboratório Cálculo do desvio padrão Cálculo do Erro/bias Erro quadrático médio relativo

Programa de Ensaio de Proficiência para Sulfato em Água - Nº 2 Cálculo da mediana; Desvio padrão alvo: amplitude interquartil normalizada ou desvio padrão de Horwitz; Z-score – avaliação de desempenho; Elipse de confiança; Erro normalizado.

Z-score = resultado médio fornecido Desempenho satisfatório pelo laboratório = média de consenso, obtida a partir de todos os resultados absolutos = desvio padrão Desempenho satisfatório Desempenho questionável Desempenho insatisfatório

Determinação do Desvio padrão O valor do desvio padrão deve ser adequado ao programa; Deve ser definido pelo Comitê Consultivo; antes da distribuição das amostras; Desvio padrão determinado por: “fitness for purpose” de cada área ou laboratórios especialistas; O desvio padrão ( )é usado para definir o z-escore; Se não há um desvio apropriado, o provedor deve evitar o uso de z-escore para avaliar desempenho

AIQ= Q3 – Q1 (amplitude interquartil) Determinação do Desvio padrão Alvo () AIQ= Q3 – Q1 (amplitude interquartil) Q1 – menor quartil ( valor abaixo do qual situam-se ¼ dos resultados) Q3 – maior quartil ( valor acima do qual situam-se ¼ dos resultados) AIQn= AIQ x 0,7413 ( amplitude interquartilica normalizada) - comparável ao desvio padrão O fator 0,7413 vem da distribuição normal, cuja média é igual a zero e desvio padrão igual a um.

Determinação do Desvio padrão Alvo () Desvio padrão de Horwitz  = 0,22 c se c < 120 ppb ou 0,12 µg/g  = 0,2 c0,8495 se 120 ppb ≤ c ≤ 13,8%  = 0,1 c0,5 se c > 13,8% = desvio padrão da função de Horwitz C= concentração do analito expressa adimensionalmente (1 µg/g equivale a 10-6 )

Os laboratórios precisam apresentar os resultados com incerteza Erro Normalizado Os laboratórios precisam apresentar os resultados com incerteza

Classificação dos Erros Erros Sistemáticos Sempre de mesmo sinal, magnitude e constante. Ex. calibração de equipamento, interferências, branco de reagentes não corrigidos, variação instrumental, analista, etc Erros Aleatórios São imprevisíveis, variam de sinal e magnitude. Se várias medições são realizadas a média dos erros tende a zero. Ex. contaminação ou perda, desvios no uso do pop, reagentes, analista, instabilidade do equipamento, etc Erros Ocasionais ou Grosseiros Ex: erro de digitação, amostra errada, método errado, contaminação, erro de cálculo etc.

Elipse de Confiança Usado para verificar a compatibilidade de resultados entre laboratórios; Diagrama de dispersão dos resultados; Par de amostras com concentrações semelhantes, Os resultados são representados por um ponto na elipse; Seguem a distribuição de Youden.

Elipse de Confiança Amostra B Amostra A | | | | | | | | | | | | | | |

Interpretação da Elipse de Confiança Pontos dentro da elipse Dispersão uniforme: existe compatibilidade entre os resultados dos laboratórios; desempenho dos laboratórios pode ser satisfatório; Dispersão não uniforme (um ou mais pontos afastados da maioria, indicam que existe compatibilidade entre os resultados dos laboratórios): Existem erros significativos dos laboratórios, em relação aos demais;

Interpretação da Elipse de Confiança Pontos fora da elipse Pontos próximo ao eixo maior da elipse: indicam erros sistemáticos significativos – modificações não permitidas na metodologia, problemas de equipamentos não calibrados; Pontos afastados do eixo maior da elipse: indicam erros aleatórios significativos – são devidos a: variabilidade dentro do laboratório, analista não devidamente treinado, erros de cálculo, leitura, transcrição de resultados etc...

Interpretação da Elipse de Confiança | | | | | | | | | | | | | | | Amostra B Amostra A Erro sistemático é muito pequeno em relação ao erro aleatório: a elipse fica com formato próximo a um círculo

Gráfico z-score para sulfato

Gráfico dos Erros Normalizados para Sulfato

Elipse de Confiança para amostras A e B Resultados para Sulfato

Programa de Ensaio de Proficiência: Adolfo Lutz Cálculo da média dos resultados de cada laboratório (, i = 1, ..., n) e do respectivo desvio-padrão Si. 2. Cálculo da média geral dos laboratórios e do desvio-padrão amostral S das médias dos resultados de todos os participantes. 3. Cálculo do escore-z para cada participante, obtido pela expressão onde i = 1, ..., n.

Programa de Ensaio de Proficiência: Adolfo Lutz 4. Exclusão dos laboratórios que apresentam escore-z fora do intervalo , pois possuem comportamento considerado insatisfatório nesta análise preliminar. 5. Obtenção do valor designado (Xdesignado ) da amostra por meio do cálculo de um novo valor médio, desconsiderando os resultados de participantes classificados como insatisfatórios no passo anterior. 6. Cálculo da amplitude do intervalo de aceitação: - Valores designados inferiores ou iguais a 40 µg / 100 mL – considerar o intervalo ( ± 6) µg / 100 mL; - Valores designados superiores a 40 µg / 100 mL – considerar o intervalo ( ± 15% do) µg / 100 mL.

Programa de Ensaio de Proficiência: Adolfo Lutz Relatório PEP Chumbo em Sangue

Avaliação do desempenho pelo Participante É um indicador importante para avaliar e monitorar o sistema da qualidade como um todo; O participante deve fazer auto-avaliação do seu desempenho e também avaliar o provedor; O participante deve avaliar o desempenho geral dos laboratórios;

Avaliação do desempenho pelo Participante Desempenho insatisfatório Identificação das causas–número de resultados insatisfatórios, tendências; Ações corretivas; Análise dos dados do controle interno; Eliminação das não conformidades; Verificação da eficácia: reprocessamento da amostra, participação em novas rodadas de PEP;

Avaliação do Desempenho pelos Clientes Forma de avaliação da qualidade do laboratório; O cliente precisa conhecer o sistema de avaliação do provedor; Analisar o desempenho do laboratório ao longo do tempo; Observar o desempenho global de todos os laboratórios; Solicitar cópias dos relatórios.

Avaliação pelo organismo de acreditação Avaliação do Desempenho pelos Órgãos de Acreditação/Habilitação/Reguladores Avaliação pelo organismo de acreditação Mecanismo de supervisão da acreditação (à distância); Verificar se o laboratório é competente para realizar ensaios /calibrações; Avaliar o sistema do laboratório para controle de trabalho não conforme e para ações corretivas e preventivas.

Desempenho Satisfatório Avaliação do Desempenho pelos Órgãos de Acreditação/Habilitação/Reguladores Desempenho Satisfatório 1. Evidência de competência em caso específico; 2. Pode não refletir um estado de competência contínua; Desempenho insatisfatório 1. O laboratório deve ter políticas de investigação do mau desempenho e avaliação da sua eficácia; 2. Organismo de acreditação deve informar ao laboratório sobre as consequências do desempenho insatisfatório.

Avaliação do Desempenho pelos Órgãos de Acreditação/Habilitação Há critérios para aceitação dos resultados do teste de proficiência? sim sim Critérios adequados? não não Realizar critérios de aceitação Checar resultados de desempenho dos laboratórios sim FIM Satisfatório? não

Avaliação do Desempenho pelos Órgãos de Acreditação/Habilitação Explicações e ações de corretivas do laboratório são disponíveis? sim sim Aceitável? FIM não não Requisitos para retroalimentação sim FIM As medidas são positivas não Restrição do escopo de acreditação, finalmente retirada ou suspensão da acreditação. Fonte: ILAC-G22:2004

Estrutura de um PI Fase inicial: colaboração de especialistas técnicos, estatísticos e um coordenador do programa; Objetivos devem ser bem claros; Sistema da qualidade deve ser estabelecido e mantido: ABNT /ISO/IEC 17025-2005; Tópicos recomendados a serem seguidos:

Gestão da Qualidade de um PI Política da qualidade; Organização do organismo Coordenador; Treinamento e competência do pessoal; Atribuições e responsabilidades do pessoal; Controle da documentação; Procedimentos de auditoria e análise crítica; Meta, escopo, projeto estatístico e formato dos programas de ensaios de proficiência; Procedimentos operacionais: preparação de amostras, ensaio de homogeneidade/estabilidade de amostras, equipamentos, procedimentos para a determinação de valores designados, fornecedores, incluindo sub-contratados, logística, análise dos dados;

Gestão da Qualidade de um PI Preparação e emissão de relatórios; Ação e retro-alimentação pelos participantes; Documentação e arquivo de registros; Procedimentos para tratamento de reclamações; Política de confidencialidade e procedimentos éticos; Informação computadorizada; Biosegurança e outros fatores ambientais; Subcontratação; Taxas de participação; Escopo de disponibilidade dos programas; Políticas gerais sobre participação e uso dos resultados de programas.

Principais fatores a serem considerados: Frequência de rodadas Principais fatores a serem considerados: Dificuldade em executar o controle efetivo da qualidade analítica; Capacidade de produção de amostra teste; Consistência dos resultados anteriores do programa; Custo/benefício do programa; Disponibilidade de MRC na área; A quantidade de alteração das exigências analíticas, metodologia, instrumentação e pessoal.

Comunicação com os participantes O provedor deve fornecer um conjunto detalhado de informação sobre a participação no programa; Comunicações subsequentes: cartas, relatórios; Comunicação entre provedor e participante sempre que houver avaliação incorreta; Retro-alimentação: os participantes devem contribuir ativamente para o desenvolvimento do programa;

Confidencialidade/Considerações éticas O provedor deve garantir a confidencialidade da identificação e desempenho dos participantes; A divulgação do desempenho do laboratório só pode ser feita em comum acordo entre as partes; No relatório do PEP os participantes devem ser codificados para evitar a identificação dos mesmos;

Fraudes e Falsificação de Resultados Fraude entre laboratórios, de forma que resultados verdadeiros não são apresentados; Os participantes devem evitar este tipo de atitude; Falsa impressão otimista de suas capacidades; Fraude: apresentam resultados de repetições e na verdade realizam apenas um único ensaio; Coordenadores devem tomar todas as medidas para evitar fraudes;

Seleção de Programas de Ensaio de Proficiência Os ensaios, medições ou calibrações devem corresponder aos tipos realizados pelo laboratório acreditado ou em fase de acreditação; É adequado às necessidades? O EP traz benefícios ao seu laboratório? Sites de Interesse: www.eptis.bam.de www.inmetro.gov.br www.anvisa.gov.br

Seleção de Programas de Ensaio de Proficiência PEPs devem operar de acordo com a ABNT ISO IEC GUIA 43-1; Com a concordância do laboratório acreditado, o organismo de acreditação deve ter acesso aos seus resultados, aos detalhes do PEP: instruções, tratamento estatístico e o relatório final; Adequabilidade do PEP: frequência, confiança dos itens de ensaio(homogeneidade, estabilidade da amostra), custos, política com relação à confidencialidade,

Considerações Finais Provedores de programas interlaboratoriais devem ter habilidade para escolha da técnica estatística mais adequada Sempre que possível aplicar vários modelos estatísticos para verificar qual deles é melhor; O coordenador deve ter conhecimento sobre a natureza dos materiais e domínio sobre os procedimentos analíticos;

Considerações Finais “Ensaio de Proficiência não significa Aprovação ou Rejeição de um ensaio e sim, Participar e Aprender com os Resultados”; EURACHEM, 2000

MUITO OBRIGADA PELA ATENÇÃO!