Kappa de Cohen Prof. Ivan Balducci FOSJC / Unesp.

Apresentação em tema: "Kappa de Cohen Prof. Ivan Balducci FOSJC / Unesp."— Transcrição da apresentação:

1 Kappa de Cohen Prof. Ivan Balducci FOSJC / Unesp

2 Kappa p/ Avaliar Confiabilidade
Kappa é um teste de acordo (ou de confiabilidade) inter ou intra-observador que corrige o acordo obtido por acaso (casual) (sob hipótese de independência)

3 Representação gráfica do Índice Kappa
 = (Po - Pe) / (1 - Pe) Dr. V. Abraira, SEMERGEN, vol. 27, nº 5, mayo 2001, p

4 Escala do índice Kappa de Landis & Koch*
* LANDIS, J.R. & KOCH, G.G. The measurement of observer agreement for categorical data. Biometrics, 33(1977)

5 Escala do índice Kappa de Fleiss*
<0.4 0.4<>0.75 >0.75 Pobre Bom Excelente * FLEISS, J.L. (1981). Statistical methods for rates and proportions, 2nd ed. NY.p.216,218.

6 Kappa de Cohen ? Representa a proporção de acordos observados além do acaso em relação do máximo acordo possível além do acaso. é usado para avaliar a concordância ou reprodutibilidade de instrumentos de medida cujo resultado é categórico ( 2 ou mais categorias).  = (Po - Pe) / (1 - Pe)

7 Compare as duas tabelas:
médico 1 Sim Não Médico 2 43 3 2 52 médico 1 Sim Não Médico 2 1 3 94 Em ambas tabelas, os médicos concordam 95% das vezes. Os dois médicos são igualmente confiáveis nas duas tabelas?

8 Cálculo de Kappa Calculamos o acordo observado (células nas quais os observadores concordam / total das células). Em ambas tabelas 1 e 2 é 95%. Calculamos o acordo esperado (Pe) (acordo “by chance”) a partir dos totais marginais.

9 Como calcular o “n” esperado by chance em cada célula?
OBSERVADOS médico 1 Sim Não médico 2 1 3 4 2 94 96 97 100 Como calcular o “n” esperado by chance em cada célula? H0: eventos independentes P(AB) = P(A)P(B) (A) …médico 2 não = 96/100 (B) … médico 1 não = 97/100 P(AB) = 96/100 x 97/100 P(AB) =  ? = 93.12 Tabela 1 ESPERADOS médico 1 Sim Não médico 2 4 96 3 97 100 ?

10 H0: eventos independentes  P(AB) = P(A)P(B)
(A) … médico 2 sim = 4/100 e (B) … médico 1 sim = 3/100 P(AB) = 4/100 x 3/100 →freq. esperada = (4)(3)/100 P(AB) = 0.12 =  ESPERADO médico 1 Sim Não médico 2 Yes 4 93.12 96 3 97 100  Tabela 1 (96/100) x 97 = 93.12

11 Por subtração, todas as outras células são preenchidas automaticamente
Por subtração, todas as outras células são preenchidas automaticamente. Qualquer célula poderia ter sido escolhida para fazer o cálculo. ESPERADO médico 1 Sim Não médico 2 0.12 3.88 4 2.88 93.12 96 3 97 100 Tabela 1 = 3.88 = 0.12

12 Apenas, devido ao acaso, encontram-se em acordo 93
Apenas, devido ao acaso, encontram-se em acordo das 100 observações. Pe = / 100 ESPERADO médico 1 Sim Não médico 2 0.12 3.88 4 2.88 93.12 96 3 97 100 Tabela 1 = 93.24

13 Pe = 93.24/100 Po = 95/100  = (Po - Pe) / (1 - Pe) Tabela 1

14  = 95% - 93.24% = 1.76% = 0.26 1 - 93.24% 6.76% Fórmula Kappa
Tabela 1 Acordo observado - Acordo Esperado 1 - Acordo Esperado  = 95% % = % = 0.26 % %

15 Como interpretar um Kappa igual a 0.26?
Kappa Grau de acordo <0, Sem acordo 0,00 - 0,20 Insignificante 0, Mediano 0,41 - 0,60 Moderado 0,61 - 0,80 Substancial 0,81 - 1,00 Quase Perfeito Tabela 1

16 Vamos considerar agora a Tabela 2
 = ???? médico 1 Sim Não Médico 2 43 3 2 52 46 54 = + 55 100 45

17 Compare as duas tabelas:
médico 1 Sim Não Médico 2 43 3 2 52 médico 1 Sim Não Médico 2 1 3 94 Tabela 2  = ???? Tabela 1  = 0,26 Em ambas tabelas, os médicos concordam 95% das vezes. Os dois médicos são igualmente confiáveis nas duas tabelas?

18 Os médicos concordam 95% das vezes.
Sim Não Médico 2 43 3 2 52 Tabela 2 Qual é o valor de kappa para essa Tabela 2? Os médicos concordam 95% das vezes. (43+52)/100

19 As células que indicam acordo estão em vermelho, e somam 50.4%
20.7 = (45)(46)/100 29.7 = (55)(54)/100 As células que indicam acordo estão em vermelho, e somam 50.4% Pe = 50.4 Tabela 2 REAL médico 1 Yes Não médico 2 Sim 20.7 25.3 46 24.3 29.7 54 45 55 100

20 Kappa = 0.90 é considerado um acordo excelente
Tabela 2 Fórmula de :  = Acordo Observado – Acordo Esperado 1 - Acordo Esperado  = 95% % = 44.6% = 0.90 % % Kappa = 0.90 é considerado um acordo excelente

21 Acordo inter, intra-observadores Índice de reprodutibilidade
Termos que devem ser familiares Kappa de Cohen Acordo inter, intra-observadores Índice de reprodutibilidade