Carregar apresentação
A apresentação está carregando. Por favor, espere
PublicouRebeca Dreer de Sequeira Alterado mais de 8 anos atrás
1
M ÉTODOS E STATÍSTICOS PARA E XATIDÃO DE M APEAMENTO E A VALIAÇÃO DE M ODELOS Camilo Daleles Rennó Referata Biodiversidade 8 novembro 2007
2
Modelagem rocha de origem lençol freático
3
rocha de origem lençol freático Modelagem O que faz uma planta estar num determinado lugar? Fatores ambientais Fatores aleatórios Modelagem => Simplificação=> erros rocha de origem lençol freático
4
rocha de origem lençol freático Modelagem seleção calibração probabilidade ou chance de ocorrência limiar mapa de ocorrência (estimada)
5
Avaliando Modelos... estimado modelo A verdade X Comparando com uma referência... estimado modelo B X Comparando-se modelos...
6
Matriz de Erro (de Confusão) Real (ou Referência) +- Total Estimado +aba+b -cdc+d Total a+cb+dn + presença - ausência Erros: falsos positivos ( b ) falsos negativos ( c ) É função do limiar de corte e do conjunto de pontos usados na avaliação
7
Particionamento dos Dados Treinamento X Teste Idealmente deveriam ser conjuntos independentes de pontos, ou seja, pontos de teste não usados durante o desenvolvimento do modelo Métodos de particionamento: Resubstituição (treinamento = teste) -> resultado otimista Bootstrapping (amostragem com repetição) Aleatorização (amostragem sem repetição) Amostragem prospectiva (amostragem pós-modelagem) Leave-one-out (1 para teste e demais para treinamento) *avaliação iterativa: permite estimar a incerteza da precisão * * *
8
Um pouco de teoria... P(K) = ? P(C) = ? P(K) = 0,5 P(C) = 0,5 ou 50% No lançamento de uma moeda normal, No lançamento de duas moedas normais, P(KK) = ? 1aKC1aKC 2aKC2aKC KK KC CK CC P(K). P(K) eventos independentes 1a1a KC Total 2a2a K C 0,25 0,5 1
9
Um pouco de teoria... Se repetíssemos o lançamento de duas moedas 100 vezes, em quantas vezes as duas seriam caras? Resposta: de zero a 100 vezes (variável aleatória) Se repetíssemos o lançamento de duas moedas 100 vezes, em quantas vezes esperaríamos que as duas fossem caras? Resposta: 25 (conceito de esperança, 100*0,25) 1a1a KC Total 2a2a K C ?? ?? ? ? ??100 1a1a KC Total 2a2a K C 25 50 100 observadoesperado
10
Um pouco de teoria... Com base no resultado de um experimento, podemos saber se, de fato, o resultado de uma moeda não influencia o da outra? 1a1a KC Total 2a2a K C 3032 1424 62 38 4456 100 1a1a KC Total 2a2a K C 25 50 100 observadoesperado (Distribuição qui-quadrado com 1 grau de liberdade) independentesnão independentes Importante: pressupõe- se que não haja relação entre cada uma das 100 repetições (2 moedas) 0 ++
11
Voltando ao nosso problema... Real +- Total Estimado +aba+b -cdc+d Total a+cb+dn + presença - ausência Erros: falsos positivos ( b ) falsos negativos ( c ) deveriam ser independentes pontos distribuídos no espaço... Autocorrelação Espacial
12
Potencial problema para estudo baseados em área Independência entre amostras é violada -> problema para definição de significância dos testes Soluções: incorporar a informação de vizinhança no modelo selecionar conjunto independente espacialmente (necessita avaliação da autocorrelação espacial)
13
Medidas de Avaliação Real +- Total Estimado +aba+b -cdc+d Total a+cb+dn Exatidão Total = 0 1 (ou 100%) mínimo = máximo =
14
Exatidão Total Real +- Total Estimado +45247 -54853 Total 50 100 Exemplo numérico Exatidão Total =
15
Exatidão Total Real +- Total Estimado +?47 -53 Total 50 100 Se a relação entre o real e o estimado pelo modelo fosse totalmente aleatória:
16
Exatidão Total Real +- Total Estimado +23,5 47 -26,5 53 Total 50 100 Exatidão Total = Se a relação entre o real e o estimado pelo modelo fosse totalmente aleatória:
17
Kappa Real +- Total Estimado +aba+b -cdc+d Total a+cb+dn Índice Kappa ( ) – medida de concordância exatidão total (se independência) < 0 1 mínimo = máximo =
18
Kappa Real +- Total Estimado +45247 -54853 Total 50 100 Exemplo numérico Índice Kappa ( ) – medida de concordância Será que este valor é significativamente superior a zero? Teste de hipótese
19
Kappa
20
Outras Medidas de Avaliação Real +- Total Estimado +aba+b -cdc+d Total a+cb+dn Prevalência = (a + c)/n Poder de diagnóstico total = (b + d)/n Sensitividade = a/(a + c) Especificidade = d/(b + d) Taxa de falso positivo = b/(b + d) Taxa de falso negativo = c/(a + c) Poder preditivo positivo = a/(a + b) Poder preditivo negativo = d/(c + d) Taxa de erro = (b + c)/n Odds-ratio = (ad)/(cb) Tau
21
ROC plot (fração de verdadeiros positivos) (fração de falsos positivos) Medida independente do limiar aumento do limiar presença = 0 se Prob(ocorrência) < limiar 1 caso contrário Área ~ exatidão total Área treinamento teste
22
Comparando-se Modelos X verdade X estimado modelo A medida A estimado modelo B verdade X medida B cuidado!!! testes estatísticos quase sempre pressupõe independência na amostragem OBS: 2 Kappas só podem ser comparados se as amostras forem diferentes!!!
23
Comparando-se Modelos verdade X estimado modelo A medida A estimado modelo B verdade X medida B (ok) estimado modelo A estimado modelo B X medida AxB
24
Comparando-se Modelos estimado modelo A estimado modelo B X Modelo A certoerrado Total Modelo B certo aba+b errado cdc+d Total a+cb+dn teste de McNemar: coerentesnão coerentes 0 ++ OBS: Se b + c < 5, use teste binomial. Para comparações múltiplas (3 ou mais modelos), use o teste de Cochran
25
Obrigado
Apresentações semelhantes
© 2024 SlidePlayer.com.br Inc.
All rights reserved.