Albanita Gomes da Costa de Ceballos Validade (interna e externa) e confiabilidade na pesquisa epidemiológica Albanita Gomes da Costa de Ceballos

Referências Base Almeida-Filho, N; Rouquayrol, MZ. Diagnóstico em Epidemiologia. In: ____. Introdução à Epidemiologia. 3 ed. Rio de Janeiro: Medsi, 2002. Pereira, MG. Validade de uma investigação. In: _____. Epidemiologia teoria e prática. Rio de Janeiro: Guanabara Koogan, 1995. Rothman, KJ e Greenland, S. Precision and validity in epidemiologic studies. In: ____. Modern Epidemiology. 2ed. Philadelphia: Lippincott Williams & Wilkins, 1998.

Epidemiologia Ramo das ciências da saúde que estuda, na população, a ocorrência, a distribuição e os fatores determinantes dos eventos relacionados com a saúde. (Pereira, 1995)

Diagnóstico dos eventos Para garantir que as medidas de ocorrência, de distribuição e as associações entre os fatores determinantes e o evento, ou seja, a qualidade do estudo epidemiológico, é necessário considerar: Erros; Viés ou bias; Precisão; Validade.

Erros Erro Randômico: Relaciona-se com precisão ou confiabilidade. Costuma-se considerar duas fontes principais de erro: Erro Randômico: Relaciona-se com precisão ou confiabilidade. Erro Sistemático: Relaciona-se com validade.

Erro Randômico Aparece como uma imprecisão da estimativa obtida a partir do estudo em relação ao parâmetro que está sendo avaliado, sendo resultante da variação amostral. É, portanto, fundamentalmente dependente do tamanho da amostra e de características específicas do parâmetro a ser estimado, ou seja, sua variância. Ximenes e Araújo, 1995

Erro Randômico Podem ser evitados no estudo: Fase de planejamento: Cuidados na seleção da amostra; Fase de execução: Evitar perdas ou recusas não homogêneas entre os grupos; Fase de análise de dados: controle de outliers e criteriosa imputação.

Erro Sistemático Difere em sua natureza do erro randômico, por ter sua origem na existência de uma diferença entre o parâmetro a ser estimado e o verdadeiro efeito que se quer medir. Resulta do desvio ou distorção da operação da medida, do instrumento ou do aplicador. Almeida Filho e Rouquayrol, 2002 Ximenes e Araújo, 1995

Erros Randômico Amostra Sistemático Medida

Precisão e Validade Metáfora do alvo. Adaptado de Almeida Filho e Rouquayrol, 2002 Baixa precisão; alguma validade Baixa precisão; baixa validade Alta precisão; baixa validade Alta precisão; alta validade

Validade Diz-se das conclusões de uma investigação quanto a amostra estudada ou a extrapolação das mesmas para a população de onde a amostra foi retirada ou mesmo outras populações. A validade pode ser externa ou interna

Validade Externa As conclusões do estudo feito em uma amostra podem ser generalizadas para a população de origem. Depende do quanto a amostra representa a população. Ex: Um estudo sobre estresse e alteração vocal em uma amostra de professores do ensino fundamental da rede estadual da Bahia mostra que a razão de prevalência é igual a 2,3 (IC 95% 2,1 a 2,5).* É possível dizer que: Os professores baianos mais estressados têm 2,3 vezes mais chance de ter alteração vocal que os menos estressados podendo este valor variar entre 2,1 e 2,5. * Estudo fictício

Validade Externa Os resultados também podem ser generalizados para outras populações semelhantes. Sobre o exemplo anterior pode-se dizer: O estresse no professor faz com que ele tenha mais problemas vocais.

Validade Interna Refere-se ao grau em que as conclusões de um estudo são corretas. Engloba: Comparabilidade de grupos estudados (viés de seleção) Controle de fatores que possam dificultar a interpretação (viés de confundimento); Técnica ou critério diagnóstico (viés de aferição) Pereira, 1995

Viés de Seleção Erro na identificação da população ou grupos de estudo; Distorção devido a diferenças entre as características dos indivíduos que são incluídos no estudo e daqueles que não são; Perdas ou não respostas dos incluídos originalmente na amostra (diferencial ou não diferencial)

Viés de Seleção Exemplo: Foram selecionados 80 sujeitos para participar de um estudo em duas etapas. Na etapa 1 eles respondiam um questionários sobre sintomatologia da doença pesquisada (79 participaram;1,25% de perda). Na etapa 2 todos os 79 sujeitos foram chamados para realizar um exame em um hospital. Somente 38 compareceram (51,8% de perda). A literatura mostra que a prevalência da doença estudada é em torno de 20%. Neste estudo foi encontrada uma prevalência de 46,8%.

Viés de Confundimento Ocorre quando os resultados de uma associação entre dois fatores podem ser imputados, total ou parcialmente, a um terceiro fator não levado em consideração que é a variável de confundimento; Variável de confundimento, ou de confusão ou confounding é a variável que, por estar associada a exposição principal e ser um fator de risco para o efeito estudado, induz a conclusão incorreta sobre a verdadeira relação entre dois eventos. (Pereira, 1995)

Viés de Confundimento Exemplo: Um estudo realizado em uma zona canavieira do Estado de Alagoas mostrou uma associação positiva e estatisticamente significante entre baixa escolaridade das mulheres e abortos espontâneos. Sabe-se que as mulheres com menor escolaridade nesta região geralmente trabalham no corte da cana-de-açúcar. Resta esclarecer: A associação de deve ao nível de escolaridade ou ao elevado esforço físico da atividade de trabalho?

Viés de Aferição Definição inadequada do diagnóstico de um evento. Geralmente devido à preparação ineficiente do observador ou examinador ou pelo uso inadequado dos instrumentos de aferição (problema mecânico ou técnico ou instrumento inapropriado para a mensuração)

Viés de Aferição Confiabilidade Validação Observador ou examinador Instrumento de aferição Validação

Confiabilidade (ou Reprodutibilidade) Capacidade de concordância interna, ou seja, de replicar os mesmos resultados. Pode ser testada com a repetição das medidas utilizadas no mesmo grupo da mensuração original pelo mesmo observador ou por observadores diferentes. Klein e Bloch in Medronho, 2002.

Validação Quantifica o desempenho de um instrumento de medida em relação a um instrumento considerado padrão-ouro. As medidas de VALIDADE mais usadas são: Sensibilidade Especificidade Valor preditivo positivo Valor preditivo negativo

Validação Sensibilidade : É a capacidade que o teste apresenta de detectar os indivíduos verdadeiramente positivos, ou seja, os verdadeiros doentes. S= verdadeiros positivos (a) x100 verdadeiros positivos(a) + falsos negativos(c)

Validação E= verdadeiros negativos (d) x100 Especificidade: É a capacidade que o teste apresenta de detectar os indivíduos verdadeiramente negativos, ou seja, os verdadeiros sadios. E= verdadeiros negativos (d) x100 falsos positivos(b) + verdadeiro negativos(d)

Validação Valor Preditivo Positivo: É a probabilidade que tem cada positivo de ser, de fato, doente. VP+ = verdadeiros positivos (a) x100 verdadeiros positivos(a) + falsos positivos (b)

Validação Valor Preditivo Negativo: É a probabilidade que tem cada negativo de ser, de fato, sadio. VP- = verdadeiros negativos (d) x100 falsos negativos(c) + verdadeiros negativos (d)

Validação Vejamos o exemplo: 133(a) 47(b) 180 (a+b) 14(c) 106(d) Padrão - Ouro Doente Sadio Total 133(a) 47(b) 180 (a+b) 14(c) 106(d) 120 (c+d) 147 (a+c) 153 (b+d) 300 (a+b+c+d) S= a / a+c = 133 / 147 = 0,90 E= d / b+d = 106 / 153 = 0,69 VP+ = a / a+b = 133 / 180 = 0,73 VP- = d / c+d = 106 / 120 = 0,88 Novo teste

Validação S= a / a+c = 133 / 147 = 0,90 Alta sensibilidade. O novo teste consegue identificar 90% dos verdadeiros doentes. E= d / b+d = 106 / 153 = 0,69 Especificidade moderada. O novo teste erra na identificação de 30% dos sadios, atribuindo a estes a condição de doente. VP+ = a / a+b = 133 / 180 = 0,73 Valor preditivo positivo moderado. O novo teste consegue “acertar” os doentes em cerca de 70% dos casos. VP- = d / c+d = 106 / 120 = 0,88 Valor preditivo negativo muito bom. O novo teste consegue “acertar” os sadios em quase 90% dos não-casos

Síntese Erros Randômico - Amostra Sistemático - Medida Validade Externa – Generalização Interna – Conclusões do estudo Validade Interna Viés de seleção Viés de confundimento Viés de aferição Do examaminador - confiabilidade Do instrumento - validação

Síntese Confiabilidade Concordância ou repetição de resultados. Validação Desempenho do instrumento. Sensibilidade: a / a + c Especificidade: d / b+d Valor Preditivo Positivo: a / a+b Valor Preditivo negativo: d / c + d

Estudo complementar Leia os textos para aprofundar o seu conhecimento: Silva, FS; Pereira, MG. Avaliação das estruturas de concordância e discordância nos estudos de confiabilidade. Rev Saúde Pública, 32(4): 383-93, 1998. Ximenes, RAA; Araújo, TBV. Validade Interna em Estudos de Corte Transversal: Reflexões a Partir de uma Investigação sobre Esquistossomose Mansônica e Condições Socioeconômicas. Cad. Saúde Pública,11(1), 1995

Atividade 1 OBS: Todas as atividades aqui propostas foram desenvolvidas pela prof. Albanita G Costa. Os estudos são fictícios. Em um estudo para verificar a associação entre fazer vestibular e ter alguma dor de estômago foram selecionados 500 estudantes de escolas da cidade que estavam se preparando para fazer vestibular e 500 estudantes das mesmas escolas que cursavam primeiro ou segundo ano do ensino médio. Entre os meses de maio e julho deste ano os estudantes foram entrevistados quanto a seus hábitos sociais, de lazer e alimentares, horas de estudo por dia e dinâmica familiar. Em seguida foram encaminhados para o serviço de um hospital local para fazer uma video-endoscopia digestiva. Dos 1000 alunos, somente 400 compareceram para o exame.

Atividade 1 Na análise das entrevistas verificou-se que grande parte dos alunos vestibulandos relatou estudar mais de 8 horas por dia, comer em horários irregulares, tomar muito refrigerante, comer frituras e dormir menos de 6 horas por noite. Estes estudantes relataram ainda serem pressionados constantemente pela família e pelos amigos para estudar mais. O mesmo não aconteceu com os demais estudantes. Na avaliação dos 400 exames, observou-se que dos 120 vestibulandos que compareceram, 80 apresentaram algum problema de estômago e dos não vestibulandos apenas 40 apresentaram o problema.

Atividade 1 Qual o percentual de perdas? Quais as possíveis conseqüências para o estudo? O estudo está sujeito a algum erro? Qual(is)? Explique. O estudo está sujeito a algum viés? Qual(is)? Explique. Crie a tabela 2x2 e verifique a associação descrita (observe o tipo de desenho de estudo). Interprete o seu resultado.

Atividade 2 Considere o exemplo da atividade 1, mas realizado em uma outra amostra. A avaliação de problema de estômago foi feita pelo Método X (mais rápido, menos desconfortável e mais barato) que ainda está em teste. Em seguida os mesmos participantes foram submetidos ao exame da video-endoscopia digestiva adotada como padrão-ouro.

Atividade 2 Video-endoscopia 1. Observe a tabela ao lado calcule e interprete os resultados: Sensibilidade Especificidade Valor preditivo positivo Valor preditivo negativo Doente Sadio Total 163(a) 194(b) 357 (a+b) 37(c) 606(d) 643 (c+d) 200 (a+c) 800 (b+d) 1000 (a+b+c+d) Método X 2. Baseando-se nos resultados do estudo de validação, responda: O Método X deve ser usado como critério diagnóstico para problemas de estômago? Por que?