Curso de aprofundamento em avaliação de riscos microbiológicos REVISÃO SISTEMÁTICA DA LITERATURA COM METANÁLISE Enrique Pérez-Gutiérrez OPAS/OMS.

Apresentação em tema: "Curso de aprofundamento em avaliação de riscos microbiológicos REVISÃO SISTEMÁTICA DA LITERATURA COM METANÁLISE Enrique Pérez-Gutiérrez OPAS/OMS."— Transcrição da apresentação:

1 Curso de aprofundamento em avaliação de riscos microbiológicos REVISÃO SISTEMÁTICA DA LITERATURA COM METANÁLISE Enrique Pérez-Gutiérrez OPAS/OMS

2 Revisão Sistemática Anualmente são publicados cerca de 2 milhões de artigos científicos da área da saúde, em mais de 20.000 revistas científicas.

3 Exemplo  Quando viajo, usualmente poderei terminar com um resfriado

4 Procurando a resposta … Usando MEDLINE: ‘Anti-bacterial agents’ AND ‘common cold’ OR ‘rhinitis’  488 artículos Não séria bom apenas ler um artigo e tomar uma decisão?

5 Revisão Sistemática A revisão sistemática da literatura tem por objetivo reunir, avaliar criticamente e conduzir uma síntese dos resultados de múltiplos estudos primários, publicados ou não, para responder a uma questão com a melhor evidência existente. ( Cook et al, 1997; Atallah & Castro, 1998)

6 Proceso de la Revisión Sistemática Evaluación de calidad Diseminación de la evidencia Evaluación de relevancia Estructurada Replicable Válida Documentada 2 personas Población Intervención Evento de interés Formulación de la pregunta Extracción de datos Revisión bibliográfica Revisión Sistemática cualitativa Meta-análisis Evaluación de Heterogeneidad

7 Metanálise (definição) Metanálise é essencialmente uma síntese da literatura disponível em algum tema. O ideal é que, usar uma série de estudos com aleatoriedade para chegar a um estimado único com o qual se estima um parâmetro.

8 Com a METANÁLISE é possível: Aumentar o poder estatístico do estudo. Aumentar a precisão. Responder perguntas não propostas pelos estudos primários. Esclarecer controvérsias entre estudos. Gerar novas hipóteses. (Higgins & Green, 2008) Revisão Sistemática com metanálise

9 Metanálise (conceitos) Metanálise é um procedimento estatístico que integra os resultados de diferentes estudos considerados "combináveis".

10 Metanálise (conceitos) Deve ver como um estudo observacional de evidências. Com os passos de: –Formulação do problema. –Coleta e análise de dados. –Reporte de resultados.

11 Metanálise (conceitos) 1)Primeira etapa - sumário estatístico para cada estudo, para descrever o efeito observado da intervenção. 2)Segunda etapa - sumário do efeito da intervenção, calculado pela média ponderada das estimativas dos estudos incluídos.

12 Sumário estatístico Os resultados devem ser expressos em uma forma padronizada para permitir a comparação entre estudos: –Media. –RR. –OR Para os estudos serem comparáveis, é necessário padronizar os dados

13 Sumário estatístico Padronização dos dados Dados dicotômicos (ou binários) Variam entre duas possibilidades (por exemplo, morte ou sobrevivência) Risco relativo (RR) (risk ratio), razão de chances (Odds ratio, OR), diferença de risco, taxa de incidência ou número necessário de pacientes a tratar (NNT).

14 Sumário estatístico Padronização dos dados Dados contínuos (ex. Peso, área e volume). Estudos com unidades de medida iguais - diferença das médias dos desfechos dos grupos-tratamento e dos grupos-tratamento controle Estudos com unidades de medida diferentes - operação de padronização da diferença de médias, transformada no tamanho do efeito (effect size ).

15 Sumário do Efeito da Intervenção O passo final em metanálise é analisar os efeitos combinados. A média aritmética não serve porque: –Os resultados de estudos pequenos são mais sujeitos a ter tendências e portanto devem ter menor peso. Métodos usados em metanálise usam meios ponderados dos resultados dando valor mais elevado aos estudos de maior número de observações.

16 Sumário do Efeito da Intervenção Técnicas mais usadas: O método Mantel Haenszel que é um método de análise estratificado. Em Metanálise se usa para unir os efeitos de vários estudos

17 Sumário do Efeito da Intervenção Resultado final da metanálise: média ponderada das estimativas do efeito da intervenção de cada estudo: Média Ponderada =∑ Y1 W1 ∑ W1 Y = efeito estimado em cada estudo W = peso de cada estudo (Para medidas de ratio como Risco Relativo/Odds Ratio, Y é o logaritmo natural da medida).

18 Sumário do Efeito da Intervenção (Castro et al, 2002)  Integração dos resultados dos estudos individuais.  Cada estudo recebe um peso de acordo com a sua precisão (intervalos de confiança).

19 Sumário do Efeito da Intervenção Realiza-se para estimar um efeito que resuma todos os estudos (RR, OR, diferencia entre taxas ) Para estimar o efeito resumo é importante definir o modelo de análise: –De efeitos fixos. O estimado é válido para estudos incluídos na análise. –De efeitos aleatórios. Assume que os estudos analisados são uma amostra aleatória do universo de estudos existentes no tema. Quando existir homogeneidade os modelos fixos e aleatórios serão indistinguíveis.

20 Tipos de análise. Efeitos Fixos: responde a pergunta que com os estudos incluídos na análise o tratamento ou a exposição produzem os efeito médio. Efeitos aleatórios médios: Responde a pergunta de que com os estudos incluídos na amostra o tratamento ou a exposição produzem o resultado.

21 Sumário do Efeito da Intervenção (Castro et al, 2002) Modelo de efeitos fixos : assume que a variância entre os estudos é zero. Modelo de efeitos randômicos: considera a influência da variância.

22 Sumário estatístico (Castro et al, 2002)

23 Apresentação dos resultados Gráfico do tipo Floresta

24 Cada estudo primário: Quadrado = efeito do estudo Tamanho do quadrado = peso relativo de cada estudo Linha = intervalo de confiança 95%

25 “Linha de não-efeito” - valor nulo, quando a intervenção não tem impacto Gráfico do tipo Floresta

26 Linha vertical tracejada e o diamante - o resultado final da combinação dos estudos, a metanálise. Gráfico do tipo Floresta

27 Cada estudo primário: Ponto central do IC à esquerda da linha central vertical - Intervenção avaliada reduz a probabilidade do efeito adverso. Linha horizontal do estudo tocar a linha central vertical - não encontrou diferença estatística entre os grupos.

28 Cada estudo primário: Ponto central do IC à direita da linha vertical -tratamento avaliado aumenta a probabilidade do efeito adverso. Linha horizontal não cruzar a linha vertical- IC não contém o valor nulo, os resultados são estatisticamente significativos.

29 Diamante: À esquerda da linha vertical - resultado final é significante Se toca ou cruza a linha vertical - não existe diferença estatística. À esquerda da linha vertical - intervenção estudada traz benefícios. À direita da linha vertical - a intervenção em estudo causa mais prejuízo do que benefício.

30 Heterogeneidade Se os resultados dos estudos diferirem muito, não terá sentido fazer uma combinação de resultados. Como responder isto não é tão fácil: – Fazer teste um de heterogeneidade ao longo dos estudos (estratos) é a resposta.

31 Combina resultados de estudos semelhantes... Heterogeneidade

32 Deve-se fazer, mas nem sempre se faz. Revisão de 24 metanálise, só 23 a avaliaram (Petiti, DB, 2001). Real: variação verdadeira entre estudos. Aparente: –devido à elaboração do estudo. –Período de acompanhamento. –Confiabilidade da medida do resultado (erros na classificação da doença). –Carência de ensaios cegos.

33 Tratamento da Heterogeneidade

34 METANÁLISE. Avaliando a heterogeneidade

35 Heterogeneidade clínica e estatística Heterogeneidade clínica: diferenças reais devido ao tratamento, sempre se espera. Heterogeneidade estatística: resultados numéricos incompatíveis entre os estudos. Diferenças clínicas. Diferenças metodológicos Exemplo

36 Metanálise sobre a eficácia da vacina BCG contra a tuberculose. Colditz et al. 1994. JAMA 271: 698.

37

38 Análise mais comum O estatístico Q é muito útil para medir homogeneidade. A hipótese nula que testa é que os estudos são homogêneos. O estatístico Q tem uma distribuição de CHI- quadrado sendo os graus de liberdade N onde N = (Número de estudos- 1). Quando os estudos forem homogêneos não haverá diferença entre modelos de efeitos fixos ou aleatórios.

39 Estatísticos de heterogeneidade Provas estatísticas: Estatístico de Cochran (Q). Baixo poder: poucos estudos, n em cada estudo e baixo, ampla variação no EP Inconsistência (I 2 ). Foi proposto para quantificar o grau de heterogeneidade em uma meta-análise. –Variação na estimada que é atribuivel à heterogeneidade –Proporção da variação entre estudos.

40 Estadísticos Q e I 2

41 Evaluando a heterogeneidade Análise de subgrupos. –Avaliar o efeito em subgrupos específicos –Definir a priori. Análise por estratos. –Metanálise dentro da cada sub grupo. Variação no efeito? Característica de estratificação causa de variação. Avaliar estatisticamente as diferenças.

42 Evaluación gráfica Gráfico de L’Abbe Riesgo en el tratado vs riesgo en el control Dispersión de puntos alrededor de la línea

43 Meta-regressão Forma de regressão linear. Resultado: efeito do tratamento. Preditores: características do estudo, qualidade do estudo como Efeitos fixos preditivos Não se assume variação residual, todos os fatores explicam a variação

44 Meta-regresión

45 Evaluación gráfica Gráfico theta vs factor de interés Asociación entre RR y la latitud Círculo proporcional al peso del estudio

46 Vies de publicação Estudos publicados. –estudos com efeitos significativos dos tratamento –estudos escrito em inglês. –estudos mais citados por autores diferentes. –estudos que produzem múltiplos publicações. Tendem a ter efeitos de maiores tratamentos. Têm mais probabilidade de serem encontrados e portanto incluídos na metanálise.

47 Identificando Vies de publicação Avaliar se há tendência de publicação ou não? vários métodos gráficos funil (Gráficos plot funnel) –teste estatísticos de correlação e regressão método de cortar e colar

48 Identificando Vies de publicação Evaluación gráfica –gráficos funnel (embudo) gráfico de (Y = efecto del tratamiento) vs (X = precisión del estudio) –ha sido recomendado usar el “error estándar” cuando se usan razones (Riesgo Relativo, Razón de probabilidades) (Sterne, 2001) ausencia de estudios con no efecto o efecto negativo pero de baja precisión (error estándar grande ) –estos son los estudios más probables de no ser publicados es considerada una buena herramienta “exploratoria”

49 Identificando sesgos de publicacion Evaluación gráfica – gráfico de embudo (funnel plot)

50 Identificando sesgos de publicacion Avaliação gráfica–gráfico de funil. avaliação subjetiva. interpretação limitada (Terrin e outros 2005). há outros fatores que podem causar `assimetria` no gráfico. –vies: vies de relatório, vies de citação, vies de linguagem, vies do tipo de resposta variável reportada. –variação entre estudos (heterogeneidade).

51 Identificando sesgos de publicacion Evaluación estadística test de Begg (Begg & Mazumdar, 1994) test de correlación de rangos entre el efecto del tratamiento y la precisión baja potencia estadística test de Egger (Egger et al., 1997) regresión del efecto del tratamiento estandarizado por la varianza vs su precisión (1/varianza) es una regresión ponderada del efecto del tratamiento sobre su estándar error - evaluar la significancia del intercepto de la regresión Egger tiende a detectar más efectos verdaderos los dos tests tienden a dar falsos positivos si el efecto es muy grande, hay muy pocos eventos por ensayo o todos los ensayos son tienen un número similar de individuos

52 Identificando sesgos de publicacion Evaluación estadística –en general son métodos estadísticos que evalúan la correlación entre el efecto del tratamiento y la precisión

53 Identificando sesgos de publicacion

54

55 Consideração Sutton y Higgins (2008): "Pareceria que há algum desacordo a se é necessário ajustar pela tendência de publicação ou nao. Alguns pesquisadores se têm inclinado ao uso de diferentes métodos que ajustam pela tendência de publicação como uma forma de análise de sensibilidade, porem estes sentimentos" não têm sido expressados explicitamente pelos autores

56 Análise de sensibilidade As opiniões podem variar da forma em que foi realizado a metanálise. Portanto a robustez da análise se pode demonstrar usando diferentes supostos sob uma análise de sensibilidade

57 Análise de sensibilidade Objetivos:  Determinar a sensibilidade dos resultados de um estudo primário ou da revisão sistemática.  Investigar a heterogeneidade dos estudos incluídos. (Castro et al, 2002).

58 Análise de sensibilidade Como pode ser feita?  É modificado um determinado critério da metanálise e depois ela é repetida.  Se houver mudança no resultado da metanálise, a confiança nos resultados será menor. ( Castro et al, 2002)

59 Análise de sensibilidade O ideal é realizar múltiplas análises de sensibilidade. Exemplos:  Mudança dos critérios de inclusão  Inclusão ou exclusão dos estudos que apresentaram alguma ambigüidade  Exclusão dos estudos de baixa qualidade.  Nova análise dos dados usando métodos estatísticos diferentes. (Castro et al, 2002)

60 Análise de sensibilidade Gráfico de funil

61 Copyright ©1997 BMJ Publishing Group Ltd. Egger, M. et al. BMJ 1997;315:1533-1537 Análise de sensibilidade

62 Higginset al, BMJ 327: 557, 2003 A inconsistência dos resultados dos estudos em uma metanálise, reduz a confiança das recomendações quanto ao tratamento