A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Avaliação estatística dos mecanismos de codificação desenvolvidos Eliana Zandonade E equipe (Lúcia, Regiane e Franciane)

Apresentações semelhantes


Apresentação em tema: "Avaliação estatística dos mecanismos de codificação desenvolvidos Eliana Zandonade E equipe (Lúcia, Regiane e Franciane)"— Transcrição da apresentação:

1 Avaliação estatística dos mecanismos de codificação desenvolvidos Eliana Zandonade E equipe (Lúcia, Regiane e Franciane)

2 Sumário Teste de comparação de duas proporções pareadas Análise de correlação entre duas variáveis Teste de comparação de duas médias

3 ÍNDICE KAPPA 01total 0ABN1 (A+B) 1CDN2 (C+D) totalN3 (A+C) N4 (B+D) n K= 2(AD – BC) N1N4 + N2N3

4 Teste Mc Nemar Comparar se a discordância tem sentido: Compara B com C (discordâncias)

5 Correlação

6 Covariância A covariância é uma medida que resume a tendência e a força da relação linear entre duas variáveis. Covariância entre X e Y: Covar(X,Y) 1/(n-1) *{ Soma [(X - média(X))*(Y - média(Y))]}

7 Coeficiente de Correlação Para facilitar a relação entre duas variáveis e evitar a unidade de medida da covariância, foi definido o coeficiente de correlação corr(X,Y) ou r(X,Y) como: r(X,Y) = covar(X,Y) / [DP(X)*DP(Y)]

8 Comparação de duas médias: comparação dos modelos dois a dois O teste de duas médias é realizado para se comparar as médias de duas populações a partir da análise das médias de suas amostras. Em geral faz-se os testes sobre a diferença entre duas médias populacionais: sendo na maioria dos casos, o que significa que testa-se a igualdade entre as médias

9 As Hipóteses Nula e Alternativa do teste são as seguintes: Teste bilateral: Teste unilateral à esquerda: Teste unilateral à direita:

10 OBS.: No presente estudo, na comparação dos modelos será considerado o teste bilateral. Na comparação das médias considera-se dois casos: dados emparelhados (populações correlacionadas) e dados não emparelhados (populações não correlacionadas). Neste caso, será considerada a comparação de dados emparelhados, uma vez que, os modelos propostos serão testados com o mesmo conjunto de documentos.

11 Duas médias pareadas: teste t Faz-se testes de comparações de médias para dados emparelhados quando o resultado de duas amostras são relacionados dois a dois, de acordo com algum critério que fornece uma influência entre os vários pares e sobre os valores de cada par. Para cada par definido, o valor da primeira amostra está associado ao valor da segunda amostra.

12 Dadas duas amostras X 1, X 2,..., X n e Y 1, Y 2,..., Y n, sendo as observações pareadas,ou seja, uma amostra de pares, (X 1, Y 1 ), (X 2, Y 2 ),..., (X n, Y n ). Definindo-se a v.a. D=X-Y, tem-se a amostra D 1, D 2,..., D n, resultante das diferenças entre os valores de cada par. Para a aplicação do teste deve-se supor que ambas as amostras são provenientes de populações com distribuição normal, assim, a variável D, supostamente, também tem distribuição normal.

13 Daí pode-se deduzir que terá distribuição

14 Então a estatística de teste será dada por: onde t tem distribuição t-Student com n-1 graus de liberdade. Considere onde

15 onde é obtido da tabela da distribuição t-student, considerando (n-1) graus de liberdade e tomando como o nível de significância do teste. A regra do teste (teste bilateral) é então rejeitar H 0 se

16 Outra maneira de tomar a decisão final sobre a hipótese nula é comparando o valor-p com um valor pré-fixado (nível de significância), usualmente 0,05. Quando o valor-p é menor que este ponto de corte, o resultado é chamado estatisticamente significante e caso contrário é dito não significante. O valor-p (ou valor de probabilidade) é a probabilidade de obter um valor da estatística amostral de teste no mínimo tão extremo como o que resulta dos dados amostrais, na suposição da hipótese nula ser verdadeira.

17 Exemplo: Suponha que deseja-se comparar os modelos 1 e 2 e que a métrica utilizada tenha sido Hamming Loss (hloss j ). A tabela a seguir ilustra algumas situações de aplicação de tais modelos. No caso do teste bilateral o valo-p é a duas vezes a área da estatística de teste.

18 Sendo d j : j-ésimo documento; C j : conjunto de códigos apropriados para o j-ésimo documento; P j (Modelo 1): conjunto de códigos preditos pelo Modelo 1 para o j-ésimo documento; P j (Modelo 2): conjunto de códigos preditos pelo Modelo 2 para o j-ésimo documento; X j : resultado da métrica obtida para Modelo 1; Y j : resultado da métrica obtida pelo Modelo 2; D j : diferença entre X j e Y j.

19 Suponha que: Para o exemplo as hipóteses a serem testadas são:

20 Assim, Como t > t 49; 0,025 rejeita-se H 0, isto é, rejeita-se a hipótese que os modelos são iguais.

21 Considerando a decisão através do valor-p tem-se: Como o valor-p < 0,05 então rejeita-se H 0.

22 REFERÊNCIAS BUSSAB, W. O.; MORETTIN, P. A. Estatística Básica. 5ª edição, Editora Saraiva, MORETTIN, L. G. Estatística Básica – Volume 2 – Inferência. Editora Makron Books, TRIOLA, M. F. Introdução à Estatística. 7ª edição, Editora LTC, 1999.


Carregar ppt "Avaliação estatística dos mecanismos de codificação desenvolvidos Eliana Zandonade E equipe (Lúcia, Regiane e Franciane)"

Apresentações semelhantes


Anúncios Google