Como avaliar criticamente um artigo científico ?

Apresentação em tema: "Como avaliar criticamente um artigo científico ?"— Transcrição da apresentação:

1 Como avaliar criticamente um artigo científico ?
Janaina Gonçalves MD consult &Mservices

2 Maçãs e laranjas são iguais ?
Table 1 Non-parametric background fructological information Apples Oranges Grown in orchards Yes Flowering tress Considered a fruit May be eaten May be made into juice Subject to damage by disease Subject to damage by insect Involvement of Jognny Appleseed* No *P<0.01. BMJ 2000;321: BMJ 2000;321:

3 Maçãs e laranjas são iguais ?
Table 2 Subjective and objective comparison of apples and oranges Apples Oranges P value Colour Red Orange 0.03 Sweetness 2 + NS Shape Sphere Mean (SD) circumference (cm) 25.6 (2.3) 24.4 (2.6) Mean (SD) diameter (cm) 7.9 (0.6) 7.6 (0.7) Weight (gm) 340 (87) 357 (760) Seeds Yes No BMJ 2000;321:

4 Roteiro geral de avaliação crítica da literatura
Identifique o problema do estudo: Qual a hipótese do estudo? Qual a variável exposição: fator de risco? Causa? Tratamento? Intervenção? Qual a variável resposta: doença? morte? Descreva o desenho do estudo: Qual tipo de estudo foi realizado? O tipo do estudo é adequado para responder à questão do estudo?

5 Roteiro geral de avaliação crítica da literatura
Amostras Como foi selecionada a amostra? Quais foram os critérios de inclusão e exclusão? Os pacientes não acompanhados são citados? (perdas) O autor discute o tamanho da amostra?

6 Roteiro geral de avaliação crítica da literatura
Foram calculadas medidas de associação? Odds Ratio (OR), risco relativo? Risco atribuído? Número necessário para se tratar? Foi calculado o intervalo de confiança das medidas? Como é? Foi realizado o controle das variáveis de confusão? Quais foram os resultados?

7 Roteiro geral de avaliação crítica da literatura
Inferência: Quais os resultados? Quais são as conclusões dos autores? São coerentes com o resultado? A discussão é convincente sobre as conclusões? Podem os resultados ser generalizados para grupos diferentes dos estudados? O estudo muda sua prática?

8 Roteiro geral de avaliação crítica da literatura
Lembrar que para tipo de questão clínica existe um tipo de estudo mais apropriado para obter a melhor resposta e portanto devemos avaliar criticamente sua qualidade metodológica!!

9 Decisão Clínica baseada em evidências
Estudos randomizados Revisões sistemáticas Preferência do Paciente Conhecimento Clínico Evidência Científica Análise Econômica Decisão clínica Prática Clínica Desfechos Relevantes Morbi-mortalidade

10 Séries de casos Relatos de casos
Hierarquia das pesquisas clínicas Ensaios clínicos randomizados, controlados, duplo cego Estudos coorte Sistemáticas Revisões Estudos de casos e controles Séries de casos Relatos de casos Pesquisas com animais Pesquisas In vitro

11 Clinical trial: origens do nome
Trial anglo-french  trier (= to try) – “tentativa” Clinical french clinique (=care of the sick) (= “cuidar da doença”)

12 Ensaio Clínico randomizado
Desfecho (%) EXPERIMENTAL Fármaco Intervenção Estratégia t R P CONTROLE Placebo Tto Padrão Desfecho (%) t

13 Desenho do estudo: simples, sem “cruzamento” (non-crossover)
População estudada Randomização Terapia A Terapia B Desfecho Desfecho

14 Desenho do estudo: com “cruzamento”
entre os grupos de tratamento (crossover) População estudada Randomização Grupo I Grupo II 1 2 2 Droga A Droga B 2

15 Desenho do estudo: fatorial
Tratamento A SIM NÃO Tratamentos A e B SIM Tratamento B Tratamento B Sem Tratamento Tratamento A NÃO

16 Estudos Epidemiológicos
Transversal A avaliação é realizada em um único momento Foto Longitudinal A avaliação é realizada pelo menos em dois momentos diferentes Filme

17 Prospectivo Retrospectivo T r a n v e s l Doença-desfecho
Causa -exposição Retrospectivo

18 Estudo de Caso-Controle
Pessoas com uma determinada doença são comparadas com outras pessoas sem esta doença, em relação a determinadas exposições: Insuficiência Cardíaca x Sem Insuficiência HAS

19 Estudo de Caso-Controle
? Exposição Doença ? Exposição Sem doença

20 Estudo de Coorte Pacientes com uma determinada exposição, são seguidos durante um período e, comparados com outros pacientes sem esta exposição, para se verificar se desenvolvem um determinado desfecho: Pacientes com HAS e sem HAS Quantos desenvolvem ICC ?

21 Exposição ?Doença ?Doença
Estudo de Coorte Exposição ?Doença Sem Exposição ?Doença

22

23

24 O que é importante identificar
na metodologia ?

25 Arrolamento Alocação dos grupos Seguimento Análise
Flow diagram of the progress through the phases o f a randomised trial

26 Qualidade metodológica
Viés de Seleção Método de randomização e sigilo da lista de alocação Viés de Aferição Cegamento

27 Qualidade metodológica
Viés de Seguimento Perdas excessivas e análise por intenção-de-tratar Viés de Performance (“Confusão”) Grupos tratados de forma desigual

28 Viés de seleção: Associação entre ingestão de café e Ca de pâncreas.
Controles usados da mesma população, mas que por outros motivos não poderiam ingerir café Ca de pâncreas Em uma certa população

29 (variável de confusão)
Ex.: Fumo como variável de “confusão” com relação à associação entre consumo de café e câncer de pulmão. Café Associado a Fumo (variável de confusão) Associação não causal causa Câncer de pulmão

30 Método de análise de dados retrospectivos
Limitação: não permite o cálculo de taxas de incidência, pois é selecionado um número pré-determinado de casos e controles, após o que tenta identificar a proporção com a exposição passada ao fator de risco sob suspeita em cada grupo. O risco relativo é calculado através de ODDS RATIO (OR), que é uma estimativa representativa do risco relativo quando a enfermidade não é muito comum.

31 Método de análise de dados retrospectivos
OR = a x d a = casos expostos no passado ao fator de risco b x c b = controles expostos no passado ao fator de risco c = casos não expostos no passado ao fator de risco d = controles não expostos no passado ao fator de risco Interpretação prospectiva, pois é uma estimativa do risco relativo.

32 Arrolamento Alocação dos grupos Seguimento Análise
Flow diagram of the progress through the phases o f a randomised trial

33 Método de análise de dados prospectivos
Dados prospectivos: ensaios clínicos, estudos prognósticos Incidência Risco relativo Efetividade da intervenção Análise de sobrevida

34 Incidência e risco relativo
Cálculo das taxas de incidência do desfecho “negativo”(morte ou recidiva). Taxas de letalidade (desfecho= morte) 1a. Incidência (categoria 1) = a x 100 a + b 1b. Incidência (categoria 2) = c x 100 c + d

35 Incidência e risco relativo
Risco Relativo (RR): razão das taxas de incidência em estudos prospectivos. a x 100 a + b RR = c x 100 c + d

36 Incidência e risco relativo
Exemplo uso RR: Estudo prognóstico pacientes com IAM, letalidade fim de 1 mês de 10% p/ pacientes com determinado tipo de arritmia e 5% p/ pacientes sem arritmia. RR= 2,0 (10% : 5%) ; isto é, letalidade 2x > pacientes com arritmia.

37 Incidência e risco relativo
Interpretação do RR Taxas de incidência (letalidade ou incidência de morte) são iguais em ambas as categorias de uma certa variável (arritmia presente x arritmia ausente), o RR = 1,0; taxa > numerador do RR, seu valor > 1,0 e taxa < numerador do RR, seu valor < 1,0. Ex: incidência IAM população total homens > mulheres, letalidade é o oposto: 4% homens e 8% mulheres hospitalizadas; o RR usando homens no numerador = 0,5 (letalidade é metade das mulheres). Se no numerador % de mulheres, RR = 2,0 ( mulheres têm risco de morte após IAM 2x > homens

38 Eficácia e efetividade
São utilizadas quando se avalia um determinado medicamento ou intervenção Eficácia: É a redução percentual da taxa do desfecho “negativo” resultante da intervenção ou medicamento, no contexto de um ensaio clínico em condições ideais (ex: todas as pessoas são alocadas aleatoriamente são seguidas até a ocorrência do desfecho ou o fim do estudo,o mascaramento funciona perfeitamente bem.

39 Eficácia e efetividade
Efetividade: É função não só da eficácia, mas também das condições reais em que se realiza a intervenção. Ex: Eficácia de 100% porém se a metade dos participantes se recusa a tomar a medicação experimental, a efetividade será de apenas 50%

40 Eficácia = a _ c TL placebo – TL experimental = a + b c + d x 100
[a / a + b ] = taxa de letalidade (TL) no grupo placebo [ c / c + d ] = taxa no grupo alocado ao medicamento Grupo placebo TL 30% Grupo experimental TL 15% Eficácia = 30% - 15% x 100 = 50% 30% a a + b

41 Análise de Sobrevida A análise de sobrevida através do método de Kaplan-Meier (KM) é a estratégia analítica ideal para se examinar o comportamento temporal do desfecho e ao mesmo tempo levar em consideração as (ou ajustar por) diferenças de tempo de seguimento entre os grupos.

42 Análise de Sobrevida O método de KM permite estimar as probabilidades do evento “positivo”, por ex, sobrevida ou sobrevida sem recidiva 3 etapas: a) cálculo das probabilidades instantâneas do evento b) cálculo das probabilidades de sobrevida além do momento em que cada evento ocorre c) cálculo das probabilidades cumulativas de sobrevida

43 JAAG

44 a) Cálculo das Probabilidades Instantâneas de Morte
Ou de outro evento como ex: recidiva Relativas ao momento exato em que cada evento ocorre “q”; Método KM=método Kaplan Meier 44

45 Obtêm-se estas probabilidades instantâneas através da divisão do nº de eventos que ocorrem em um determinado momento, pelo total da população sob risco do evento no mesmo momento; O nº de mortes em um momento exato é geralmente 1, já que é pouco provável que + de um evento (morte ou recidiva) ocorra exata/ ao mês mo tempo;

46 Pode-se calcular a probabilidade instantânea de cada morte dividindo se cada morte pelo nº de indivíduos que caem na linha vertical que a ela corresponde, incluindo a pessoa com o evento; Método KM: quando ocorre o evento em uma pessoa ou quando a pessoa é “perdida”, ela não fará parte do cálculo das probabilidade instantâneas dos eventos subseqüentes.

47 b) Cálculo das probabilidades de sobrevida além do momento em que cada evento ocorre
Estas probabilidades são os complementos das probabilidades instantâneas do evento (1,0 – q), já que, por ex, se a probabilidade de morte em um determinado momento for igual a 30% (ou 0,3), a probabilidade de sobrevida além deste momento tem de ser igual a 70% (ou 1,0 – 0,3)

48 c) Cálculo das probabilidades cumulativas de sobrevida a partir do início do seguimento
Obtidas através da multiplicação das probabilidades de sobrevida além dos momentos em que os eventos ocorrem Estas probabilidades representam a curva de sobrevida. A probabilidade cumulativa diminui a cada momento em que ocorre um evento, o que dá a curva de sobrevida de KM o seu aspecto característico de “degraus”

49 Estudos Randomizados vs Não Randomizados
Conclusão dos revisores: “na média, os estudos não-randomizados tendem a ter resultados com estimativas mais amplas de efeito do que os estudos randomizados que tenham adequada alocação.”

50 Randomização Como foi gerada a lista de randomização ? Após ser gerada, a lista foi mantida em sigilo(allocation list concealment) ?

51 Por que randomizar ? A única diferença entre os grupos deve ser o tratamento experimental. Logo, qualquer diferença de desfecho detectada pode ser atribuída ao tratamento experimental Os grupos ficam balanceados para características conhecidas e desconhecidas. 51

52 Por que randomizar ? Todo o paciente tem a mesma chance de receber o tratamento experimental ou o tratamento controle A teoria estatística é toda baseada no princípio da aleatoriedade.

53 Geração da sequência de alocação Tabela Números Aleatórios
ADEQUADA Computador Tabela Números Aleatórios Sorteio de envelopes Cara ou Coroa INADEQUADA Número do Prontuário Data de Nascimento Data de Admissão Alternância

54 Intervalos de confiança
POPULAÇÂO VALOR REAL ? AMOSTRA RR = IC 95% (0.22 ate 0.91)

55 Intervalos de confiança
POPULAÇÂO ESTUDO 1 RR = IC 95% (O.22 ate 0.91) ESTUDO 2 RR = IC 95% (0.48 a 0.72)

56 Representação gráfica do IC
Teste de hipóteses, que resulta num valor P Estimando o IC 95% (medida da precisão do efeito estimado pelo estudo)

57 Representação gráfica do IC
If the 95% CI includes no difference between groups, then the P value Is > 0.05. If the 95% CI does not include no difference between groups, then the P value is < 0.05 No difference between the groups

58 Confiança é Fundamental?
Por que o Intervalo de Confiança é Fundamental? 3 Ensaios Clínicos Hipotéticos: NNT = 20 IC 95% (10 a 38) NNT = IC 95% (10 a 380) NNT = IC 95% (10 a 3800)

59 Intervalo de Confiança
Permite avaliar se os resultados do estudo são definitivos ou não (Guyatt - CMAJ 1995) IC 95% (Menor Efeito até Maior Efeito) Estudo “Positivo” Deve ser relevante clinicamente Estudo “Negativo” Não deve ser relevante clinicamente

60 Calcular a eficácia através do RR:
TL do grupo placebo corresponde ao numerador TL do gr experimental corresponde ao denominador Eficácia = RR – 1,0 x 100 RR Ex: TL do gr placebo / gr exper = 30% / 15% = 2,0 Eficácia = 2,0 – 1,0 x 100 = 50% 2,0

61 Avaliação de fatores etiológicos: estudo
de casos e controles (estudo retrospectivo). Identificar fatores de risco; Compara-se indivíduos com a enfermidade (casos) x indivíduos sem a enfermidade (controle), no que diz respeito à exposição passada a um fator que se suspeita ser um fator de risco.

62 Avaliação de fatores etiológicos: estudo
de casos e controles (estudo retrospectivo).

63 O fenômeno de suscetibilidade ao fator de risco: interação (modificação de efeito)
– o fenômeno de interação ocorre quando o efeito da exposição a um fator de risco ou fator prognostico, ou a efetividade de uma intervenção terapêutica, diferem de acordo com a presença ou ausência de um “terceiro” fator – que pode ser genético ou ambiental e é designado de “modificador de efeito” ou “fator de suscetibilidade”.

64 Papel do tabagismo na etiologia do câncer de esôfago com o consumo ou não de álcool:
Consumo de álcool Fumo Casos Controles Odds Ratio >= 252 g/ semana Presente x 89 = 6,1 Ausente x 17 Ausente Presente x 50 = 1,7 Ausente x 2 Modificador de efeito: O fenômeno de interação é parte integral do contexto etiológico e pode ser útil na identificação de grupo especialmente suscetíveis a um fator de risco ou a uma intervenção terapêutica.

65 Avaliação da aleatoriedade: é uma associação constatada estatisticamente, que é estimada através do intervalo de confiança (95%) ou da significância estatística (erro alfa ou “p”).

66 O valor de “p” (erro alfa) indica a probabilidade de que a associação ou efetividade observada no estudo representa meramente uma variação aleatória de um valor nulo.A maioria dos pesquisadores considera 5% como o ponto de corte, abaixo deste valor a probabilidade é considerada nula.

67 O intervalo de confiança de 95% indica a faixa de valores verossímeis com uma “confiança” de 95%.
Tanto o intervalo de confiança quanto o valor de “p” dependem de vários fatores, sendo os mais importantes o tamanho da amostra e e magnitude do efeito (quanto maior o ensaio, menor o valor de “p” e mais estreito é o intervalo de confiança.

68 O valor de “p” e o intervalo de confiança não verificam qualidade do estudo.
Um estudo sem viés é chamado de válido e um estudo com um estreito intervalo de confiança é designado de preciso. O ideal é realizar um estudo válido e preciso.

69 Cada valor incluído no intervalo de confiança de 95% não tem a mesma probabilidade de representar o valor verdadeiro. A melhor maneira estimativa do efeito é a estimativa pontual, a probabilidade de o valor ser o verdadeiro, diminui `a medida que os valores se afastam da estimativa pontual.

70 Roteiro geral de avaliação crítica da literatura
Identifique o problema do estudo: Qual a hipótese do estudo? Qual a variável exposição: fator de risco? Causa? Tratamento? Intervenção? Qual a variável resposta:doença? Morte?

71 Roteiro geral de avaliação crítica da literatura
Descreva o desenho do estudo: Qual tipo de estudo foi realizado? O tipo do estudo é adequado para responder à questão do estudo?

72 Roteiro geral de avaliação crítica da literatura
Amostra: Como foi selecionada a amostra? Quais foram os critérios de inclusão e exclusão? Os pacientes não acompanhados são citados? (perdas) O autor discute o tamanho da amostra?

73 Roteiro geral de avaliação crítica da literatura – cont.
Foram calculadas medidas de associação? OR, risco relativo? Risco atribuído? Número necessário para se tratar? Foi calculado o intervalo de confiança das medidas?Como é? Foi realizado o controle das variáveis de confusão?Quais foram os resultados?

74 Roteiro geral de avaliação crítica da literatura – cont.
Inferência: Quais os resultados? Quais são as conclusões dos autores?São coerentes com o resultado? A discussão é convincente sobre as conclusões? Podem os resultados ser generalizados para grupos diferentes dos estudados? O estudo muda sua prática?

75 Roteiro geral de avaliação crítica da literatura – cont.
Incluir slides (3) de exemplo de leitura crítica de artigos somente no dia da apresentação.

76 Obrigada! Janaína Gonçalves MD consult & MServices
Este conteúdo está protegido sob lei de direitos autorais não podendo ser reproduzida total ou parcialmente sem prévia autorização e consentimento dos autor.