Médica - Patologista Clínica

Slides:



Advertisements
Apresentações semelhantes
Auditoria de Processo Marcelo Waihrich Souza
Advertisements

Análise e Projeto de Sistemas I
BOAS PRÁTICAS DE LABORATÓRIO BPL
INFORMAÇÕES COMPLEMENTARES
GGTPS- Gerência Geral de Tecnologia de Produtos de Uso em Saúde
Validação de métodos analíticos em toxicologia
Uma visão teórica de um Sistema de Vigilância
PROF. VANEIR INOCÊNCIO BEZERRA (MESTRE EM CIÊNCIAS BIOMÉDICAS)
Simulação de Sistemas Prof. MSc Sofia Mara de Souza AULA2.
Segurança de Qualidade Analítica
CEP – Controle Estatístico de Processo
PRODUTOS PARA DIAGNÓSTICO DE USO IN VITRO - TUBERCULOSE
Agosto/2008.
Gerenciamento do Escopo
Boas Práticas Clínicas: Protocolo Clínico
Elementos de um Programa Eficaz em Segurança e Saúde no Trabalho
Avaliação Avaliação de parâmetros clínicos
Instrutor: Objetivos:.
Avaliação de Testes Diagnósticos
GERENCIAMENTO DE AQUISIÇÕES PMBOK
EXEMPLO DE FLUXO PARA O DESENVOLVIMENTO DE ANÁLISE CRÍTICA DO SGQ
José Roberto Blaschek Gerência do Escopo José Roberto Blaschek.
PROCEDIMENTO OPERACIONAL PADRÃO (POP)
Auditoria da Qualidade
Projeto: Capacitação em GP
PROJETO DO SISTEMA DE GESTÃO AMBIENTAL DO HGB
BENCHMARKING.
Gestão de Projetos Ms. Karine R. de Souza
CALIBRAÇÃO.
NBR ISO Diretrizes para planos de qualidade
Equipamentos NBR ISO/IEC 17025:
Engenharia Ambiental – UNISUL Profa. Denise Esteves Moritz
Modelagem Estatística
Manual de Qualidade Procedimento Operacional Padrão
PROCEDIMENTOS DE CALIBRAÇÃO DOS INSTRUMENTOS DE MEDIÇÃO
GESTÃO DE PROJETOS Aula 5 1.
Estudos de Estabilidade
CURSO TÉCNICO EM SEGURANÇA DO TRABALHO
Processo de Aquisição Adilson de Almeida Cezar Meriguetti
Experiência Laboratorial Privada ( BASF ) na Acreditação em BPL
1) A série ISO 9000 é um conjunto de normas:
Marco Lógico Um método para elaboração e gestão de projetos sociais Luis Stephanou abril de 2004 (refeito em agosto de 2004)
Instrutor: Objetivos:.
Controle da Qualidade em Microbiologia (parte II)
AUDITORIA, avaliação de Desempenho e Qualidade
EQUIPAMENTOS NBR ISO/IEC – 5.5
Manutenção Produtiva Total Capacitação de Auditores
ATIVIDADES DE EXECUÇÃO DA AUDITORIA
Agência Nacional de Vigilância Sanitária EP avalia a capacidade do laboratório em: Desempenhar os ensaios de forma competente.  Auto.
Rastreabilidade de Medição
Agência Nacional de Vigilância Sanitária Métodos de ensaio e calibração e Validação de métodos NBR ISO/IEC 17025: INMETRO.
Qual o significado da sigla PBQP-H?
Agência Nacional de Vigilância Sanitária Garantia da Qualidade de resultados de ensaio e calibração NBR ISO/IEC 17025: INMETRO.
Agência Nacional de Vigilância Sanitária Amostragem NBR ISO/IEC 17025: INMETRO NIT DICLA 083:
EPR16 – Planejamento e Gestão da Qualidade Professora Michelle Luz
Agência Nacional de Vigilância Sanitária FUNASA / ANVISA/ INCQS Ministério da Saúde CURSO DE AUDITORIA INTERNA E DE GESTÃO DA QUALIDADE.
Regressão e Previsão Numérica.
CONTROLE DA QUALIDADE.
Agência Nacional de Vigilância Sanitária Aquisição de Serviços e Suprimentos NBR ISO/IEC 17025: INMETRO NIT DICLA 083:00 -
Agência Nacional de Vigilância Sanitária FUNASA / ANVISA/ INCQS Ministério da Saúde CURSO DE AUDITORIA INTERNA E DE GESTÃO DA QUALIDADE.
Agência Nacional de Vigilância Sanitária FUNASA / ANVISA/ INCQS Ministério da Saúde CURSO DE AUDITORIA INTERNA E DE GESTÃO DA QUALIDADE.
Controle de Qualidade no Laboratório de Análises Clínicas
ELABORAÇAÕ DE PROCEDIMENTOS
Elementos de um Programa Eficaz em Segurança e Saúde no Trabalho
Análise Crítica de Pedidos, Propostas e Contratos
Revisão da Norma ISO 9001:2008 Revisão da Norma ISO 9001:2000 para ISO 9001:2008 Impactos sobre o Sistema de Gestão da Qualidade Informativo Técnico.
Gerenciamento da Qualidade
ERROS E TRATAMENTO DE DADOS ANALÍTICOS
Autor : Lênin Charqueiro. Pelotas,8 de março de
CURSO CONTROLE DE EQUIPAMENTOS DE MEDIDAS E INTERPRETAÇÃO DE DADOS DE CERTIFICADOS DE CALIBRAÇÃO. ISO/IEC 17025: Controle de Equipamentos de Medidas.
Transcrição da apresentação:

Médica - Patologista Clínica Treinamento para Aplicação do Roteiro de Inspeção em Laboratórios de Analises Clínicas e Postos de Coleta Laboratorial Curitiba PR – 24 e 25 de setembro Paula Távora Médica - Patologista Clínica Belo Horizonte - MG

Manual de Laboratórios clínicos SERVIÇOS DE SAÚDE Manual de Laboratórios clínicos - RDC/ANVISA N° 302 - André Rezende Brasília – Agosto - 2008

ONDE QUEREMOS CHEGAR? Qualidade Laboratorial: impacto sistêmico Perspectiva do Paciente: confiabilidade nos resultados Redução de riscos sanitários: conscientização de profissionais e usuário

VANTAGENS Segurança sanitária Melhoria da qualidade do serviço de saúde Uso de processos e métodos aperfeiçoados Redução de custos Padrão Ouro X Padrão Mínimo Heterogeneidade nacional Respeito às peculiaridades locais Gerenciamento do risco associado aos processos de trabalho Serviços na ilegalidade

8. Garantia da Qualidade RDC 302 controle interno da qualidade; controle externo da qualidade (ensaios de proficiência). Documentados lista de analitos; forma de controle e freqüência de utilização; limites e critérios de aceitabilidade para os resultados dos controles; avaliação e registro dos resultados dos controles.

Garantia da Qualidade O sistema da Garantia da Qualidade deve contemplar programa documentado de garantia de avaliação regular da qualidade analítica incluindo Programa de controle interno Programa de controle externo para todas as análises; Detalhar a abrangência do sistema de controle interno para todas as análises qualitativas e quantitativas realizadas e possibilitar a investigação das causas de variabilidade;

Garantia da Qualidade O CIQ deve contemplar a definição das especificações dos requisitos da qualidade analítica para os resultados de controle utilizados ou para outros processos baseadas em modelo cientificamente válido Procedimentos para identificação, manuseio, freqüência de utilização e armazenamento dos materiais de controle ;

Garantia da Qualidade Descrição dos limites de aceitabilidade e critérios de avaliação para os resultados dos controles, registros das análises, as ações corretivas, definindo o responsável pela avaliação dos resultados; Avaliação periódica do desempenho dos sistemas analíticos quanto à sua variabilidade e da abrangência dos controles usados.

Garantia da Qualidade O CIQ deve contemplar modelos alternativos de monitoração da imprecisão descritos na literatura ou outros procedimentos que permitam a avaliação da estabilidade do sistema analítico, quando materiais comerciais de controle não estão disponíveis ou são de difícil obtenção;

Garantia da Qualidade O CIQ deve contemplar um programa de calibração ou verificação do erro sistemático relativo das medições para garantir a rastreabilidade das medições através de: Programa de avaliação externa da Qualidade; Utilização de materiais de referência apropriados; Calibração em relação a um sistema analítico definitivo ou de referência; Uso de padrões alternativos preparados pelo laboratório; Documentação da rastreabilidade de reagentes e sistemas analíticos conforme informações do fabricante;

Garantia da Qualidade Critérios de comutatividade; Gestão de equipamentos definindo limites de aceitabilidade para as inexatidões encontradas nas calibrações para comparação entre equipamentos; Participação ativa em programa de avaliação externa da qualidade de forma regular e com a abrangência apropriada;

Garantia da Qualidade O CEQ deve contemplar procedimentos para identificação, manuseio e armazenamento dos materiais de controle externo para garantir o uso da mesma forma que amostras de clientes; A Direção deve analisar criticamente e manter registros das avaliação dos relatórios emitidos pelo provedor do PAEQ; A participação em PAEQ deve ser individual para cada unidade do laboratório clínico que realiza as análises;

Garantia da Qualidade Para analitos não cobertos por PAEQ deve haver uma avaliação externa alternativa documentada e definição clara dos limites de aceitabilidade; O PAEQ deve contemplar a análise dos relatórios referentes às avaliações externas alternativas por responsável formalmente designado; Procedimento documentado referente ao processo de auditorias internas (capacitação, treinamento, planejamento, plano de ação para tratamento de não conformidades).

GARANTIA DA QUALIDADE Ponto de Partida Conscientização para a qualidade Procedimentos operacionais – POP´s, procedimentos documentados Educação e treinamento do pessoal Treinamento sobre as Especificações da qualidade Ações corretivas e preventivas Melhoria contínua

Compreende também o registro das ações corretivas. Controle da Qualidade É o sistema que avalia o desempenho de processos ou resultados das ações tomadas pela introdução de procedimentos da qualidade assegurada. Avalia o desempenho de todo o sistema da qualidade através de medições adequadas Compreende também o registro das ações corretivas.

Controle Interno da Qualidade Processo de avaliação da estabilidade do sistema analítico que tem como principal objetivo evitar a liberação de resultados com erro maior que o especificado. Pode ser realizado através da análise de materiais com valor conhecido ou com valor determinado pelo laboratório. Geralmente envolve a especificação dos erros analíticos e dos limites de aceitabilidade a aplicação de critérios de julgamento estatisticamente válidos.

Controle da Qualidade Interno x Externo Controle Interno Erro Aleatório: representa a imprecisão do ensaio e é medido com o desvio padrão. Controle Externo Erro Total: reflete a imprecisão e a inexatidão (bias) do ensaio.

Precisão com exatidão O objetivo do CQ é obter um resultado: exato (o exame representa o valor real do paciente) preciso (o exame é reprodutível).

Imprecisão e Inexatidão PRECISÃO E EXATIDÃO Precisão e Exatidão Precisão e Inexatidão Imprecisão e Exatidão Imprecisão e Inexatidão LSE LIE

Controle Interno: A avaliação da precisão é feita através da análise de uma série de resultados obtidos na mesma amostra (para as análises quantitativas). Controle Externo: O grau de exatidão requer a comparação dos resultados obtidos pelo laboratório com o resultado “verdadeiro”obtido através de : procedimentos de referência ou definitivos “valor de consenso”: Programas de Proficiência Comparações Interlaboratoriais Nota: Em geral, a avaliação da precisão é mais acessível que a avaliação da exatidão.

Controle Externo da Qualidade Processo de avaliação da adequação do resultado de uma análise que envolve a interação com outras organizações. Pode ser realizado através de ensaios de proficiência, de análise de padrões certificados, de comparações interlaboratoriais e de validação clínica. Este procedimento é denominado “Avaliação Externa da Qualidade”.

Ensaio de Proficiência É a determinação do desempenho de um laboratório, na realização de ensaio, por avaliação através de ensaio de comparação interlaboratorial. ABNT ISO/IEC guia 43:1999 Comparação Interlaboratorial É a organização, realização e avaliação de ensaios de produtos ou materiais idênticos ou similares, em pelo menos dois laboratórios diferentes, sob condições predeterminadas. Definições

Controle Alternativo Processo de avaliação da adequação do resultado de uma análise para a qual não está disponível amostra de controle da qualidade analítica.

Funções do Controle da Qualidade Controlar o desempenho de todos os materiais, equipamentos e métodos analíticos. Prevenir a deterioração ao invés de aperfeiçoar o desempenho. Identificar mudanças na estabilidade dos processos. Criar sinais de alerta para prevenir a liberação de resultados não conformes e identificar a necessidade de ações corretivas. Identificar necessidades de melhorias nos processos.

Verificações do Controle da Qualidade Inexatidão: é caracterizada por uma diferença constante positiva ou negativa entre o valor encontrado e o valor verdadeiro ou real. Variabilidade: Presente em todos os processos. Não existe processo sem variabilidade. Não é possível eliminar a variabilidade totalmente. O controle da qualidade tem a função de medi-la e mantê-la dentro de limites aceitáveis sem comprometer a utilidade médica dos resultados. Aumenta a freqüência de falso positivos e falso negativos. Imprecisão: Representa a variabilidade que ocorre em um resultado de exame.

Objetivo Principal Manter a variabilidade sob controle, o processo estável variando dentro de limites aceitáveis.

Causas da Variabilidade Pessoas: Realizam os procedimentos de modos diferentes Equipamentos: Possuem desempenho diferente Materiais: Originados de vários fornecedores Métodos: Inadequação e baixa robustez dos procedimentos Ambiente: Variações de temperatura ou umidade

Medindo a Variabilidade Para controlar ou reduzir a variabilidade é necessário estimar a sua dimensão. A estimativa da variabilidade, chamada de imprecisão, é feita através do desvio padrão.

Desvio Padrão Representa a “média” da soma das diferenças entre cada resultado e a média aritmética dos resultados. Expresso nas mesmas unidades de medida do analito. Desvio Padrão =

Coeficiente de Variação Desvio padrão expresso em percentagem do valor médio. Coeficiente de Variação =

Erro Aleatório/Imprecisão Ao acaso Causa da imprecisão de um método Erro negativo ou positivo cuja direção e magnitude não podem ser prevista com segurança Freqüência indeterminada Causa a dispersão de valores de medidas repetidas É estimado pelo desvio padrão Pode ser minimizado, mas nunca totalmente eliminado.

Erro Sistemático (Bias)/Inexatidão Afeta todas as amostras da mesma maneira Tem sempre o mesmo sentido (positivo ou negativo) A causa pode ser determinada e está ligada às características do processo Pode ser praticamente eliminado. É calculado pela diferença entre a média de um conjunto de resultados e o valor verdadeiro (Média – Média verdadeira).

Controle Interno

Controle Interno da Qualidade: Fases 1 – Seleção e implantação de materiais adequados para controle interno Nota: O material deve refletir o fenômeno que se observa com as maiores exatidão e precisão possíveis 2 – Avaliação do desempenho do trabalho rotineiro com relação aos controles (utilizando ferramentas estatísticas) 3 – Implementação de ações corretivas e preventivas para melhorar a qualidade do processo. Nota: a mais importante e mais desafiadora função da gestão da qualidade.

Será que esquecemos de Calibrar os Instrumentos? CALIBRAÇÃO Será que esquecemos de Calibrar os Instrumentos?

Controle da Qualidade Interno “Calibrador” Matriz: Os padrões aquosos não são adequados para sistemas automáticos; São produzidos calibradores multiparamétricos em matriz protéica. O desempenho varia de acordo com a metodologia empregada devido ao efeito matriz. A utilização de calibradores deve seguir a recomendação do fabricante. Soros frescos congelados?

Controle da Qualidade Interno “Intervalo de calibração” “Período de tempo ou série de medidas durante as quais pode se esperar que a calibração (o desempenho do sistema analítico) permaneça estável dentro de certos limites pré-estabelecido” Nota: Informado pelo fabricante

Controle Interno da Qualidade “Corrida analítica” É o intervalo de tempo no qual se pode esperar que a precisão e a exatidão de um sistema analítico permanecerão estáveis. Este intervalo pode variar entre diferentes sistemas analíticos. A duração de cada corrida analítica deve ser estabelecida pelo fabricante e determinada pelo usuário de acordo com a sua realidade. Nota: Não deve exceder 24 horas.

Controle Interno da Qualidade “ Material de Controle” (“Soro Controle”) Materiais exclusivamente usados para fins de controle da qualidade Não devem ser usados para procedimentos de calibração. Semelhantes ao máximo às amostras dos pacientes: Soro Controle Sangue Controle Urina Controle, etc. Utilizados para monitorizar a precisão Nota: Não é necessário que as concentrações dos analitos sejam conhecidas exatamente.

Material de Controle Interno da Qualidade Conhecido X Desconhecido “Assayed” = Conhecido Valores (média, desvio padrão e coeficiente de variação) determinados pelo fabricante. Serve de parâmetro para o início do uso. “Unassayed” = Desconhecido Valores não determinados pelo fabricante. Em geral mais baratos do que os “Assayed”

Exemplos de Materiais de CIQ

Distribuição Gaussiana ou distribuição normal 99,73% 95,5% 68,26% -3 -2 -1 0 +1 +2 +3

Distribuição Gaussiana Xm +1s +2s +3s 99,73% 95,4% 68,26%

Gráfico de Levey-Jennings Um dos sistemas mais usados para controle da qualidade nos laboratórios. Usa a média e o desvio-padrão de uma série de resultados de controle. É uma extensão dos pontos do eixo horizontal do gráfico de distribuição normal. O gráfico é girado 90 graus para maior conveniência. A média e o desvio padrão usados nos gráficos de Levey-Jennings devem ser obtidos por dosagens do controle no próprio laboratório. Deve-se utilizar 20 a 30 dosagens (uma em cada dia) para este cálculo. Os resultados fornecidos pelo fabricante só devem ser usados no início do uso. A média do laboratório deve, contudo, estar dentro da média aceitável pelos parâmetros fornecidos pelo fabricante.

Curva de Gauss - Gráfico de Levey-Jennings Controle Interno Curva de Gauss - Gráfico de Levey-Jennings 3SD ■ 2SD ■ ■ 1SD ■ _ ■ ■ ■ ■ ■ ■ X ■ ■ ■ ■ ■ ■ ■ 1SD ■ ■ ■ 2SD 3SD

Não precisamos reinventar a roda - Artigos Traduzidos

Regras de Westgard Um exemplo de Westgard Quando minha filha Kristina era nova e morava conosco, gostava de ir a festas. Um dia, ela me disse que pretendia, novamente chegar tarde. Senti a necessidade de exercer um certo controle paterno sobre seus horários e disse: - Você estará com grandes problemas se: Chegar 1x depois das 3hs Chegar 2x depois das 2hs Chegar 4x depois da 1h

Regras de Westgard Benefícios Análise simples de dados, através de gráficos Permite interpretação e ações imediatas Fácil integração e adaptação à rotina Baixo nível de falsas rejeições ou falsos alarmes Melhor capacidade de identificação de erros Indicação do tipo de erro

Gráfico de Levey - Jennings Dia - Corrida Desvio Padrão - 1DP - 2DP - 3DP +3DP +2DP +1DP Média

Valores Iniciais 1 dosagem por dia Calcular Média e DP Realizar pelo menos 20 dosagens (para cada nível) 1 dosagem por dia Calcular Média e DP Plotar o gráfico Recalcular de tempos em tempos Não utilizar dados de fabricante

AL Regras de Westgard No de dosagens Limite de Controle Intra-material Entre materiais Intra-corrida Entre corridas Individual Tipo de Erro no níveis no Observações

12s Regras de Westgard 1/2 níveis Regra de Rejeição - 1 nível Regra de Alerta - 2 níveis DP - 1DP - 2DP - 3DP +3DP +2DP +1DP Média

13s Regras de Westgard 2/3/4 níveis Regra de Rejeição Erro Aleatório Erro Sistemático (quando muito grande) 13s DP - 1DP - 2DP - 3DP +3DP +2DP +1DP Média

22s Regras de Westgard 2/4 níveis Regra de Rejeição Erro Sistemático Dentro do Material Entre Corridas DP - 1DP - 2DP - 3DP +3DP +2DP +1DP Média Entre Materiais Dentro da Corrida

R4s Regras de Westgard 2/3/4 níveis Regra de Rejeição Erro Aleatório DP - 1DP - 2DP - 3DP +3DP +2DP +1DP Média Entre Materiais Dentro da Corrida

41s Regras de Westgard 1/2/4 níveis Regra de Rejeição Erro Sistemático DP - 1DP - 2DP - 3DP +3DP +2DP +1DP Média Dentro do Material Entre Corridas Entre Materiais Dentro da Corrida

Implantação do CI Definição de um responsável Conscientização/Comprometimento Treinamento sobre as regras Realizar continuamente Análise imediata dos resultados

Erro Total Permitido É a especificação de erro máximo aceitável para o resultado de um analito

O objetivo do CQ é obter um exame exato (representa o valor real do paciente) e preciso (o exame é reprodutível).

Sistema Analítico Conjunto de Equipamentos, instrumentos, reagentes, calibradores, controles e operadores.

Exemplos Instrumentos Laboratoriais

Exemplos Equipamentos Laboratoriais

Controle Interno da Qualidade Controles comerciais (do kit ou adquirido em separado) Amostras conhecidas (positivas e negativas) Amostras desconhecidas dividas (Duplo Cego) Duplo Observador

Roteiro de Implantação Mapear os sistemas analíticos Verificar a implantação de uma forma de CIQ para todos os analitos (quantitativos e qualitativos). Incluir a frequência de realização Definir os limites e critérios de aceitabilidade para os resultados do controle de cada analito. Definir o responsável pela análise dos resultados dos controles, registro e implementação das ações corretivas, além da validação das corridas analíticas.

Roteiro de Implantação Exemplo de planilha para atender o Roteiro de Implantação Freqüência CIQ Critério de aceitabilidade CIQ CEQ CIQ Sistema Analítico Secundário Sistema Analítico principal Categoria Analito Cada Corrida Analítica Regras de Westgard PELM Bio Rad 2 Níveis Cobas Vitros Quanti Glicose

Passo a passo da Implantação Listar todos os analitos realizados no laboratório Definir as formas de CIQ e adquirir os controles faltantes. Usar no mínimo dois níveis de controle (normal e patológico), quando aplicável. Escolher o provedor contemplando todos os analitos disponíveis realizados no laboratório. Na ausência de controles comerciais, definir quais formas alternativas serão usadas. Definir os limites e regras caso a caso. Implantar as ferramentas para registro do CIQ.

Passo a passo da Implantação Estabilizar os sistemas analíticos. Formalizar as responsabilidades e treinar as equipes. Identificar todos os sistemas analíticos múltiplos para o mesmo analito. Tentar reduzir os sistemas analíticos Escolher o sistema analítico principal. Calibrar os sistemas para que forneçam as mesmas respostas. Documentar todas as rotinas em procedimentos escritos (POPs).

Limites do Controle Os fabricantes de materiais de controle utilizam limites muito amplos devido ao grande número de sistemas e reagentes em que serão usados. Cada laboratório deve estabelecer as próprias médias e desvio padrão e comparar com as especificações da qualidade.

Controles Alternativos Definir as formas de registro dos resultados. Identificar todos os observadores para o mesmo parâmetro. Estabelecer os observadores “referência”. Estabelecer critérios para a variação aceitável. Treinar os observadores para obter resultados dentro da variação aceitável.

PLANILHA RE REGISTRO DE CONTROLE COMPARATIVO INTERNO ( * ) Critério definido pelo setor. Aprovado: Resultado após tomada da ação: Ação Tomada: Causa Provável: Ocorrência: ( ) Percentual ou número absoluto de diferenças entre resultados ( * ) ( ) Concordância de +- dois títulos ( ) Concordância de +- um grau ( + ) ( ) Concordância de positividade ou negatividade ( ) Concordância de interpretação clínica ( ) Cem por cento de concordância nos elementos que definem diagnóstico Aprovação Assinatura Resultado Liberado Referencia Observador 2 Observador 1 Parâmetro Registro do paciente: Setor: SGQ PLANILHA RE REGISTRO DE CONTROLE COMPARATIVO INTERNO Analítico: _____________________________________

PLANILHA DE REGISTRO DE CONTROLE DUPLO CEGO/INTERLABORATORIAL   (*) Preencher somente para Duplo Cego Exames realizados: Aprovado: Resultado: Ação Tomada: Causa Provável: Ocorrência: Aprovação: Laudos em anexo Paciente Controle (*): Paciente Real: Setor: Data: ___/___/___ PLANILHA DE REGISTRO DE CONTROLE DUPLO CEGO/INTERLABORATORIAL

Correção ou Ação Corretiva Causas Resultado Antes da Ação PLANILHA DE OCORRÊNCIAS PARA CONTROLE INTERNO DA QUALIDADE   SETOR:_______________________ MÊS/ANO:_________/_________ Correção ou Ação Corretiva Aprovação Dia Resultado Após Ação Assinatura Causas Resultado Antes da Ação Ocorrência ou não conformidade Analito      

9.2 Controle de Qualidade Controle Interno controle comerciais, regularizados junto a ANVISA/MS; formas alternativas descritas na literatura desde que permitam a avaliação da precisão do sistema analítico; analisar os controles da mesma forma que amostras dos pacientes; monitorar, registrar e analisar os dados definir os critérios de aceitação; liberar ou rejeitar as análises após avaliação dos resultados. registrar as ações adotadas decorrentes de rejeições. Alternativas: Amostras conhecidas, correlação clínica, comparação entre observadores, amostra cega

Controle Interno Passo a Passo  Fazer um estudo para definir os testes que serão contorolados  Verificar os equipamentos – Registro no Ministério da Saúde  Analisar o desempenho de cada analito separadamente;  Classificar os analitos como aprovados e reprovados;  Agir corretivamente nos casos reprovados, minimizando o CV%  Padronizar e avaliar diariamente os procedimentos de rotina: Equipe treinada Manutenção diária de equipamentos Uso do controle Registro do operador Resultados provisórios e definitivos

Controle Interno  Padronizar e avaliar diariamente os procedimentos de rotina Tempo decorrido da solicitação até a análise (TAT) Desempenho do material de controle Graficamente pode ser observada variação decorrente da estabilidade do material de controle?  Classificar os analitos como aprovados e reprovados;  Analisar desempenho dos resultados  Validação clínica Fazer todos os dias da mesma maneira e da maneira correta

Controle Interno Glicemia - mg/dL Nível 1 Nível 2 +3DP +2DP +1DP Média -1DP -2DP -3DP 104,00 96,00 88,00 80,00 72,00 64,00 56,00 Nível 1 +3DP +2DP +1DP Média -1DP -2DP -3DP 195,00 180,00 165,00 150,00 135,00 120,00 105,00 Nível 2 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25

Investigar o tipo de Erro Controle Interno Investigar o tipo de Erro Sistemático - Desvio Sistemático - Tendência -3 -2 -1 1 2 3 4 5 6 7 SD -3 -2 -1 1 2 3 4 5 6 7 8 9 SD -3 -2 -1 1 2 3 4 5 6 7 8 9 SD Aleatório

Controle Interno Como liberar a rotina?

Controle Interno

Controle Externo

Este procedimento é denominado “Avaliação Externa da Qualidade”. Controle Externo da Qualidade Processo de avaliação da adequação do resultado de uma análise que envolve a interação com outras organizações. Pode ser realizado através de ensaios de proficiência, de análise de padrões certificados, de comparações interlaboratoriais e de validação clínica. Este procedimento é denominado “Avaliação Externa da Qualidade”.

Controle Externo da Qualidade Ensaio de Proficiência É a determinação do desempenho de um laboratório, na realização de ensaio, por avaliação através de ensaio de comparação interlaboratorial. ABNT ISO/IEC guia 43:1999 Comparação Interlaboratorial É a organização, realização e avaliação de ensaios de produtos ou materiais idênticos ou similares, em pelo menos dois laboratórios diferentes, sob condições predeterminadas.

Controle Externo da Qualidade Monitora a exatidão dos processos Inexatidão = Bias Bias: Medido pela diferença entre o valor encontrado e o valor verdadeiro.

Controle Externo da Qualidade Programas de proficiência Amostras divididas com laboratórios de referência Comparações interlaboratoriais Validação clínica

Controle Externo da Qualidade Roteiro de implantação Mapear os sistemas analíticos Verificar a implantação de uma forma de CEQ para todos os analitos (quantitativos e qualitativos). Incluir a frequência de realização Definir os limites e critérios de aceitabilidade para os resultados do controle de cada analito. Definir o responsável pela análise dos resultados dos controles, registro e implementação das ações corretivas, além da validação das corridas analíticas.

Requisitos para Investigação de Inadequações Pré-analíticos Analíticos Pós-analíticos Procedimentos Coleta/Identificação Equipamentos/Reagentes Equipe/CIQ Rastreabilidade/ Registros

Liberação dos resultados do EP Análise Crítica EP Revisão de documentos e registros Recebimento do EP Liberação dos resultados do EP

Classificação dos Problemas Erros Grosseiros Problemas Técnicos Problemas Metodológicos Problemas com materiais do EP Problemas com a avaliação do EP

Classificação dos Problemas Sem explicação após investigação Testar a amostra novamente 19.6% a 24.1% de estudos publicados

Decisão no caso de erros no EP Resultados pacientes Afetados clinicamente? SIM NÃO Nova coleta/ Documentar Nenhuma ação/ Documentar

Roteiro de Implantação Planilha utilizada pelos laboratórios Controle da Qualidade Freqüência CIQ Critério de aceitabilidade CIQ CEQ CIQ Sistema Analítico Secundário Sistema Analítico principal Categoria Analito Cada Corrida Analítica Regras de Westgard PELM Bio Rad 2 Níveis Cobas Vitros Quanti Glicose

Controle da Qualidade Causas de variabilidade Pessoas: Realizam os procedimentos de modos diferentes Equipamentos: Possuem desempenho diferente Materiais: Originados de vários fornecedores Métodos: Inadequação e baixa robustez dos procedimentos Ambiente: Variações de temperatura ou umidade

Controle da Qualidade Erro sistemático /Inexatidão Afeta todas as amostras da mesma maneira Tem sempre o mesmo sentido (positivo ou negativo) A causa pode ser determinada e está ligada às características do processo Pode ser praticamente eliminado. É calculado pela diferença entre a média de um conjunto de resultados e o valor verdadeiro (Média – Média verdadeira).

Controle da Qualidade Exatidão e Repetitividade/Reprodutibilidade Fig. 1 Fig. 2 Fig. 3

Controle Externo da Qualidade Exatidão e Precisão Fig. 1 Fig. 2 Fig. 3 Controle Externo da Qualidade Exatidão e Precisão

Controle da Qualidade Repetitividade/Reprodutibilidade Imprecisão Variação Aleatória Inexatidão Erro Sistemático

Controle da Qualidade Ensaio de Proficiência + Controle Interno Micro-ambiente Macro-ambiente

Imprecisão e Inexatidão PRECISÃO E EXATIDÃO Precisão e Exatidão Precisão e Inexatidão Imprecisão e Exatidão Imprecisão e Inexatidão LSE LIE

Controle da Qualidade Definição de um responsável Conscientização/Comprometimento Treinamento sobre as regras Realizar continuamente Análise imediata dos resultados

9.3 Controle de Qualidade Ensaio de Proficiência todos os exames realizados na sua rotina; Para os não contemplados >> adotar formas alternativas descritas em literatura científica. participar de forma independente em todas as unidades do laboratório; registrar os resultados, inadequações, investigação de causas e ações tomadas para os resultados rejeitados ou nos quais a proficiência não foi obtida; Analisar os controles da mesma forma que as amostras dos pacientes. Alternativas: Comparação entre laboratórios ou unidades do mesmo laboratório. Análise Análise

Exemplos de Materiais de CEQ

Data da investigação: Responsável: Data do Ensaio: Aprovação do Coordenador de Setor: Data: Ações corretivas/ Correção: Classificação do problema: Erro grosseiro: ( ) Metodologia: ( ) Material do ensaio proficiência: ( ) Técnico: ( ) Avaliação do ensaio proficiência: ( ) Sem explicação: ( ) Dados de pacientes afetados? Causas Reais: Investigação de Causas: Data da investigação: Responsável: Data do Ensaio: Resultado (s) inaceitável (is): Resultado (s) e/ou limite (s) aceitável (is): Identificação do ensaio de proficiência: REGISTRO DE INVESTIGAÇÃO DE RESULTADOS INACEITÁVEIS NOS ENSAIOS DE PROFICIÊNCIA

Acompanhamento de Resultados NCCLS GP27-A: A using proficiency testing to improve the clinical laboratory Item Resultado Laboratório (Res) Valor Alvo (M) Diferença (Res - M) Limite Aceito (10% - 6mg/L) % Dif./Limite ID (ControlLab) 95_3 A 195 185,2 9,8 18,5 53 0,53 95_3 B 164 165,8 -1,8 16,6 -11 -0,11 95_3 C 244 235,6 8,4 23,6 36 0,36 95_3 D 73 78,3 -5,3 7,8 -68 -0,68 95_3 E 48 55,0 -7,0 6,0 -117 -1,17 Glicose (mg/dL) * resultado inaceitável

Acompanhamento de Resultados NCCLS GP27-A: A using proficiency testing to improve the clinical laboratory Diferença Valor Alvo -30 -20 -10 -0 +10 +20 +30 0 50 100 150 200 250 300 Limite Superior Limite Inferior

Acompanhamento de Resultados NCCLS GP27-A: A using proficiency testing to improve the clinical laboratory Item Resultado Laboratório (Res) Valor Alvo (M) Diferença (Res - M) Limite Aceito (10% - 6mg/L) % Dif./Limite ID (ControlLab) 95_1 A 241 223,6 17,4 22,4 78 0,78 95_1 B 289 261,4 27,6 26,1 106 1,06 95_1 C 75 71,3 3,7 7,1 52 0,52 95_1 D 76 74,4 1,6 7,4 22 0,22 95_1 E 46 44,8 1,2 6,0 20 0,20 95_2 A 55 52,3 2,7 45 0,45 95_2 B 260 241,2 18,8 24,1 95_2 C 54 49,7 4,3 72 0,72 95_2 D 272 251,5 20,5 25,2 82 0,82 95_2 E 85 79,8 5,2 8,0 65 0,65 95_3 A 195 185,2 9,8 18,5 53 0,53 95_3 B 164 165,8 -1,8 16,6 -11 -0,11 95_3 C 244 235,6 8,4 23,6 36 0,36 95_3 D 73 78,3 -5,3 7,8 -68 -0,68 95_3 E 48 55,0 -7,0 -117 -1,17 95_4 A 100 96,5 3,5 9,7 95_4 B 264 252,1 11,9 47 0,47 95_4 C 43 46,6 -3,6 -60 -0,60 95_4 D 169,9 179,9 -10,0 18,0 -56 -0,56 95_4 E 93 95,0 -2,0 9,5 -21 -0,21 * resultado inaceitável Glicose (mg/dL)

Acompanhamento de Resultados NCCLS GP27-A: A using proficiency testing to improve the clinical laboratory %Dif/Limite Valor Alvo . 95_1 95_2 95_3 95_4 120 100 80 60 40 20 -20 -40 -60 -80 -100 -120

ENSAIO DE PROFICIÊNCIA O programa da .

Segurança e Confiabilidade Oportunidade de Melhoria Porque ser obrigatório?

Ciclo do Programa

Avaliação e Índice de Desvio Estatística de Grupo Avaliação e Índice de Desvio Avaliação ..... Inadequado Faixa de Avaliação Inadequado .... ID - 2 - 1 Zero + 1 + 2 Valor Média - Limite Média Média + limite

Avaliação e Índice de Desvio Estatística de Grupo Avaliação e Índice de Desvio ID = (resultado - média) = (resultado - média) . limite (faixa superior - média) resultado = 3,5 média do grupo = 3,34 faixa de avaliação = 2,8 a 3,9 ID = (3,5 - 3,34) / (3,9- 3,34) = +0,29

Erros Comuns EUA - Patologia Clínica 1987 583 erros 1996 7792 erros Maior parte dos dados do CAP Método, equipamento, calibração e reagentes Sem explicação e possibilidade de ação Pessoal técnico ou procedimentos Transcrição dos dados, unidades ... Processamento de dados, material de ensaio ou grupo de avaliação inadequado Outros 31% 20% 19% 27% 3% NA 33% 24% 19% 12% 7% 6%

Erros Comuns Brasil - Patologia Clínica Troca de Unidade Diluição - execução e cálculos Sistema Analítico - incorreta/incompleta Calibração - ausente ou inadequada Não participação

Troca de Resultados Possíveis causas Troca de amostras ......... Perfil de Resultados .......... Faixa de .. Participante .. Amostra Aval. Qtd. Média DP CV% Avaliação Res. ID 1 22 325,3 18,7 5,7 276, - 374, 112 -4,35 1I 2 20 114,4 8,9 7,8 97, - 132, 352 13,85 1I Possíveis causas Troca de amostras Troca na transcrição

Identificação Bacteriana Amostra Aval. 1 1I 2 Citrobacter koseri (diversus) Escherichia coli Resultados Aceitos Resultado do Participante Aeromonas caviae Enterobacter sp. Possíveis causas Aeromonas caviae Enterobacter sp Citrobacter koseri Escherichia coli Oxidase + (-) Lisina Citrato Uréia Prova bioquímica: Não realizada Erro na execução/leitura

Espectrofotômetro Possíveis causas Equipamento Descalibrado 1 361 0.7818 0.0603 7.7 0.625 - 0.939 0.509 -1.75 1I 2 362 0.4250 0.0397 9.3 0.340 a 0.511 0.282 -1.68 3 363 0.5634 0.0355 6.3 0.450 a 0.677 0.378 -1.63 Qtd Média DP CV% Res ID Aval. Amostra Participante .......... Perfil de Resultados .......... Faixa de Avaliação Possíveis causas Equipamento Descalibrado Ajuste inadequado Lâmpada Fraca Não compensação do branco Cubeta codificada errada Sujeira

Líquor Cloretos (mEg/L) 1 10 104.2 5.4 5.3 90. - 118. 56. -3.44 1I 2 98.2 6.5 6.6 85. - 111. 57. -3.17 Qtd Média DP CV% Res ID Aval. Amostra Participante .......... Perfil de Resultados .......... Faixa de Avaliação Possíveis causas Processo de Titulação Pipeta/Bureta descalibrada

Imunoproteínas (mg/dL) C3 1 233 96.47 18.57 19.3 72.3 - 120.7 110.2 + 0.57 1.14 2 65.82 16.52 25.1 49.3 - 82.4 116.0 + 3.03 1.76 C4 228 22.81 4.08 17.9 17.1 - 28.6 23.9 + 0.19 1.05 16.30 3.75 23.0 12.2 - 20.5 27.7 + 2.79 1.70 IgG 249 969.8 137.7 14.2 727. - 1212. 951.0 - 0.07 1.00 250 668.3 123.3 18.4 501. - 835. 1168 + 2.99 1.75 Qtd Média DP CV% Res ID Razão Ensaio Participante ...... Perfil de Resultados ....... Faixa de Avaliação Amostra Possíveis causas Reconstituição Evaporação Razão = Resultado Média

Acompanhamento de Resultados NCCLS GP27-A: A using proficiency testing to improve the clinical laboratory Item Resultado Laboratório (Res) Valor Alvo (M) Diferença (Res - M) Limite Aceito (10% - 6mg/L) % Dif./Limite ID (ControlLab) 95_3 A 195 185,2 9,8 18,5 53 0,53 95_3 B 164 165,8 -1,8 16,6 -11 -0,11 95_3 C 244 235,6 8,4 23,6 36 0,36 95_3 D 73 78,3 -5,3 7,8 -68 -0,68 95_3 E 48 55,0 -7,0 6,0 -117 -1,17 Glicose (mg/dL) * resultado inaceitável

Acompanhamento de Resultados NCCLS GP27-A: A using proficiency testing to improve the clinical laboratory Diferença Valor Alvo -30 -20 -10 -0 +10 +20 +30 0 50 100 150 200 250 300 Limite Superior Limite Inferior

Análise de Resultados Resultados Ruins: Investigação da Não-Conformidade Identificação das Causas Eliminação da NC Ações Corretivas Verificação da Eficácia (reprocessar a amostra)

Certificado e Interpretação

“. Se o seu Controle de Qualidade está insatisfatório, não tema “... Se o seu Controle de Qualidade está insatisfatório, não tema. Isto significa que tem que melhorar muito e qualquer passo fará com que seja melhor. Provavelmente, o melhor é não tentar se agarrar a todas as melhores práticas e tratar de eliminar todas as piores práticas. E finalmente, comece devagar. Não se entusiasme em trocar tudo no laboratório de uma só vez ...” James O. Westgard

Recepção

Atendimento

Box de coleta

Inspeção de amostras

Seringas e sistema a vácuo para coleta de sangue

Distribuição de amostras - Triagem

Fracionamento de Amostras

Condutivímetro

Sistema de Purificação – Água Reagente

Materiais para fase analítica Kit de reagente Pipetas Meios de Cultura

Capela de fluxo laminar

Setor Técnico

Testes Laboratoriais Remotos

Arquivos de documentos e registros

Educação Continuada - Treinamento

Sistema de Informação Laboratorial (SIL)

PROCESSO Definição de Processo Pós-Analítico Pré-Analítico Analítico Os processos não são exclusivos das atividades de negócios; a vida é igualmente cheia de processos planejados e concretizados. PROCESSO INSUMOS PRODUTOS RECURSOS CONTROLES Laudo Amostras Análise

Capacitação em Inspeções de Laboratórios Clínicos - RDC n° 302/05 - Inspeção em serviço Seminário Dispersão Realização de inspeção no mesmo serviço visitado n primeira etapa, com posterior análise comparativa. 4. Troca de experiências 5. Acompanhamento 6. Avaliação Esclarecimento de dúvidas técnicas Planejamento das ações de vigilância sanitária em laboratórios clínicos tendo como referência o trabalho de dispersão. Discussão de instrumento de avaliação/roteiro de inspeção específico de sua região

Como será nossa próxima inspeção?? Vamos nos avaliar?? Como será nossa próxima inspeção??

Avaliação 1. Para assegurar a rastreabilidade de todos os seus processos, todos as afirmativas estão corretas, EXCETO: a. Manter cópia de laudo enviado pela internet do laboratório de apoio por meio eletrônico ou em papel. b. Incluir o registro do responsável pela coleta. c. Conferir os resultados do controle interno da qualidade pelo software do laboratório e mudar de equipamento sem ter backup do sistema ou integridade dos dados d. Registrar a investigação de ações corretivas após receber o relatório do ensaio de proficiência. e. Armazenar amostras por tempo que garanta sua estabilidade.

Avaliação 2. O laboratório clínico e o posto de coleta laboratorial devem promover treinamento e educação permanente dos seus funcionários mantendo disponíveis os registros dos mesmos. Para organizar os eventos de forma clara e objetiva, mantendo a cronologia dos mesmos, enumere na ordem seqüencial: ( ) Levantar as necessidades de treinamento. ( ) Aprovar ou reprovar os treinamentos. ( ) Elaborar o plano de treinamento. ( ) Verificar a eficácia do treinamento. ( ) Treinar a equipe. ( ) Analisar criticamente as propostas de treinamento. ( ) Registrar os treinamentos em lista de presença.

Avaliação 3. O Plano de Gerenciamento de Resíduos de Serviços de Saúde (PGRSS) atendendo aos requisitos da RDC/ANVISA no 306 de 07/12/2004 tem em sua descrição a característica dos resíduos. Correlacione as colunas com o grupo de resíduos (A, B, C, D ou E) correspondentes. ( ) Resíduos pérfuro-cortantes ( ) Resíduos que contenham radionuclídeos ( ) Resíduos sem risco biológico, químico ou radiológico ( ) Resíduos com presença de possíveis agentes biológicos ( ) Resíduos com substâncias químicas

Avaliação 4. Marque Falso ou Verdadeiro para os itens que devem estar contidos no laudo. ( ) Identificação do laboratório. ( ) Nome e registro de identificação do cliente no laboratório.  ( ) Data e hora da coleta da amostra.  ( ) Quando for aceita amostra de paciente com restrição, esta condição não deve constar no laudo.  ( ) Data de emissão do laudo. ( ) Nome do exame, tipo de amostra e método analítico. ( ) Resultado do exame e unidade de medição.  ( ) Endereço e telefone do laboratório.  ( ) Identificação do Responsável Técnico (RT) ou gerente da qualidade.

Avaliação 4. Marque Falso ou Verdadeiro para os itens que devem estar contidos no laudo. ( ) Nº de registro do RT no respectivo conselho de classe profissional. ( ) Identificação do profissional que liberou o laudo. ( ) Nº de registro do Laboratório Clínico no respectivo conselho de classe profissional. ( ) Valores de referência, limitações técnicas da metodologia e dados para interpretação do resultado. ( ) Observações pertinentes.

Avaliação 5. Qual o procedimento mais adequado quando o paciente não atende aos critérios de aceitação de amostras (pacientes e ou amostras) e estes apresentam restrições? a. Preencher termo de anuência. b. Sugerir que o cliente procure outro laboratório. c. Denunciar ao órgão regulamentador. d. Estimular a realização de forma inadequada. e. Esclarecer ao paciente as inadequações das condições de preparo e solicitar que ele retorne com os critérios pré-analíticos atendidos. f. Caso o cliente insista e seja viável, disponibilizar o termo de anuência.

Avaliação 6. As afirmativas sobre Testes Laboratoriais Remotos - TLR (Point-of-care) e testes rápidos são corretas, EXCETO: a. Devem estar vinculados a um laboratório clínico, posto de coleta ou serviço de saúde pública ambulatorial ou hospitalar.   b. O laboratório clínico deve disponibilizar nos locais de realização de TLR procedimentos documentados orientando com relação às suas fases pré- analítica, analítica e pós-analítica. c. O laboratório clínico deve manter registros dos controles da qualidade, bem como procedimentos para a realização dos mesmos.  d. Os TLR podem ser realizados por profissionais da enfermagem quando estes forem devidamente treinados pelo laboratório. e. Os TLR realizados em feiras de saúde podem ser realizados por universitários e ou empresas de recrutamento e seleção para atender ao programa do governo.

Avaliação 7. Escolha as alternativas onde os teste rápidos de anticorpos anti-HIV podem ser realizados: a. Para detecção de anticorpos anti-HIV de gestantes. b. Para atender o disposto do Regulamento Técnico e do disposto na Portaria MS nº. 59 de 28 de janeiro de 2003 assim como a Portaria SVS nº. 34 de 28 de julho de 2005. c. Para diagnóstico rápido pós exposição à amostra potencialmente infectante. d. Para diagnóstico rápido em recém nascidos. e. Para triagem em pacientes em hemodiálise

Avaliação 8. O laboratório clínico e o posto de coleta laboratorial devem definir limites de risco, valores críticos ou de alerta, para os analitos com resultados que necessitem tomada imediata de decisão. Para resultados críticos, deve: a. Comunicar ao médico responsável os resultados alterados e que possam comprometer a vida do paciente. b. Na impossibilidade de comunicação com o médico solicitante é recomendável o contato com o próprio paciente para agilizar a intervenção terapêutica necessária. c. Deixar recado na caixa postal e registrar a hora do contato. d. Registrar a data, hora e nome da pessoa de contato. e. Todas as afirmativas acima são verdadeiras.

Avaliação 9. São registros críticos onde a rastreabilidade se faz necessária por um período de cinco anos, EXCETO: a. Dados brutos do controle. b. Mapa de trabalho. c. Registros de manutenção preventiva e ou corretiva de equipamentos. d. Registros de calibração dos equipamentos envolvidos no processo. e. Comprovante de atendimento para a retirada do resultado.

Avaliação 10. Para assegurar o grau de pureza da água reagente utilizada nas suas análises devem ser realizadas as análises abaixo. Correlacione as colunas: a. Resistividade x condutividade b. Controle microbiológico c. pH d. Sílica e. Cloretos ( ) na implantação do sistema ( ) se aplicável ( ) semanal ( ) não obrigatório ( ) diário

Avaliação 11. Enumere a sistemática de Controle interno da qualidade: ( ) Listar os analitos que serão controlados. ( ) Definir a forma de controle para cada analito listada. ( ) Definir os critérios de aceitabilidade. ( ) Identificar as não-conformidades em caso de reprovação dos controles. ( ) Propor correção e ação corretiva para resultados não conformes. ( ) Registrar os resultados. ( ) Registrar as ações corretivas. ( ) Análise de eficácia.

Avaliação 12. Marque as alternativas corretas que assegurem o atendimento da RDC 302 no item Controle externo. a. Participação em ensaios de proficiência b. Troca de amostra com laboratório parceiros c. Comparação entre observadores d. Amostras de soroteca e. Amostras cegas ou duplo cego

Prova 13. São considerados profissionais legalmente habilitados para execução de procedimentos de coleta de material humano, nos termos da legislação em vigor, EXCETO: a. Técnicos de enfermagem e enfermeiros. b. Farmacêuticos e biomédicos. c. Técnicos de laboratório e técnicos em patologia clínica. d. Médicos e veterinários. e. Biólogos, químicos e auxiliares de enfermagem.

Cabe a você transformar informações em conhecimento Mudar o rumo. ação O tempo vai mudar. conhecimento O vento é sudoeste. informação Cabe a você transformar informações em conhecimento e implementar ações de melhoria.

Obrigada Muita saúde!! Muita qualidade!! paula@vacsim.com.br (31) 3213-7005/8838-8023