M ÉTODOS E STATÍSTICOS PARA E XATIDÃO DE M APEAMENTO E A VALIAÇÃO DE M ODELOS Camilo Daleles Rennó Referata Biodiversidade 8 novembro 2007

Modelagem rocha de origem lençol freático

rocha de origem lençol freático Modelagem O que faz uma planta estar num determinado lugar? Fatores ambientais Fatores aleatórios Modelagem => Simplificação=> erros rocha de origem lençol freático

rocha de origem lençol freático Modelagem seleção calibração probabilidade ou chance de ocorrência limiar mapa de ocorrência (estimada)

Avaliando Modelos... estimado modelo A verdade X Comparando com uma referência... estimado modelo B X Comparando-se modelos...

Matriz de Erro (de Confusão) Real (ou Referência) +- Total Estimado +aba+b -cdc+d Total a+cb+dn + presença - ausência Erros: falsos positivos ( b ) falsos negativos ( c ) É função do limiar de corte e do conjunto de pontos usados na avaliação

Particionamento dos Dados Treinamento X Teste Idealmente deveriam ser conjuntos independentes de pontos, ou seja, pontos de teste não usados durante o desenvolvimento do modelo Métodos de particionamento: Resubstituição (treinamento = teste) -> resultado otimista Bootstrapping (amostragem com repetição) Aleatorização (amostragem sem repetição) Amostragem prospectiva (amostragem pós-modelagem) Leave-one-out (1 para teste e demais para treinamento) *avaliação iterativa: permite estimar a incerteza da precisão * * *

Um pouco de teoria... P(K) = ? P(C) = ? P(K) = 0,5 P(C) = 0,5 ou 50% No lançamento de uma moeda normal, No lançamento de duas moedas normais, P(KK) = ? 1aKC1aKC 2aKC2aKC KK KC CK CC P(K). P(K) eventos independentes 1a1a KC Total 2a2a K C 0,25 0,5 1

Um pouco de teoria... Se repetíssemos o lançamento de duas moedas 100 vezes, em quantas vezes as duas seriam caras? Resposta: de zero a 100 vezes (variável aleatória) Se repetíssemos o lançamento de duas moedas 100 vezes, em quantas vezes esperaríamos que as duas fossem caras? Resposta: 25 (conceito de esperança, 100*0,25) 1a1a KC Total 2a2a K C ?? ?? ? ? ??100 1a1a KC Total 2a2a K C observadoesperado

Um pouco de teoria... Com base no resultado de um experimento, podemos saber se, de fato, o resultado de uma moeda não influencia o da outra? 1a1a KC Total 2a2a K C a1a KC Total 2a2a K C observadoesperado (Distribuição qui-quadrado com 1 grau de liberdade) independentesnão independentes Importante: pressupõe- se que não haja relação entre cada uma das 100 repetições (2 moedas) 0 ++ 

Voltando ao nosso problema... Real +- Total Estimado +aba+b -cdc+d Total a+cb+dn + presença - ausência Erros: falsos positivos ( b ) falsos negativos ( c ) deveriam ser independentes pontos distribuídos no espaço... Autocorrelação Espacial

Potencial problema para estudo baseados em área Independência entre amostras é violada -> problema para definição de significância dos testes Soluções: incorporar a informação de vizinhança no modelo selecionar conjunto independente espacialmente (necessita avaliação da autocorrelação espacial)

Medidas de Avaliação Real +- Total Estimado +aba+b -cdc+d Total a+cb+dn Exatidão Total = 0 1 (ou 100%) mínimo = máximo =

Exatidão Total Real +- Total Estimado Total Exemplo numérico Exatidão Total =

Exatidão Total Real +- Total Estimado +? Total Se a relação entre o real e o estimado pelo modelo fosse totalmente aleatória:

Exatidão Total Real +- Total Estimado +23, ,5 53 Total Exatidão Total = Se a relação entre o real e o estimado pelo modelo fosse totalmente aleatória:

Kappa Real +- Total Estimado +aba+b -cdc+d Total a+cb+dn Índice Kappa (  ) – medida de concordância exatidão total (se independência) < 0 1 mínimo = máximo = 

Kappa Real +- Total Estimado Total Exemplo numérico Índice Kappa (  ) – medida de concordância Será que este valor é significativamente superior a zero?  Teste de hipótese

Kappa

Outras Medidas de Avaliação Real +- Total Estimado +aba+b -cdc+d Total a+cb+dn Prevalência = (a + c)/n Poder de diagnóstico total = (b + d)/n Sensitividade = a/(a + c) Especificidade = d/(b + d) Taxa de falso positivo = b/(b + d) Taxa de falso negativo = c/(a + c) Poder preditivo positivo = a/(a + b) Poder preditivo negativo = d/(c + d) Taxa de erro = (b + c)/n Odds-ratio = (ad)/(cb) Tau

ROC plot (fração de verdadeiros positivos) (fração de falsos positivos) Medida independente do limiar aumento do limiar presença = 0 se Prob(ocorrência) < limiar 1 caso contrário Área ~ exatidão total Área treinamento teste

Comparando-se Modelos X verdade X estimado modelo A medida A estimado modelo B verdade X medida B cuidado!!! testes estatísticos quase sempre pressupõe independência na amostragem OBS: 2 Kappas só podem ser comparados se as amostras forem diferentes!!!

Comparando-se Modelos verdade X estimado modelo A medida A estimado modelo B verdade X medida B (ok) estimado modelo A estimado modelo B X medida AxB

Comparando-se Modelos estimado modelo A estimado modelo B X Modelo A certoerrado Total Modelo B certo aba+b errado cdc+d Total a+cb+dn teste de McNemar: coerentesnão coerentes 0 ++  OBS: Se b + c < 5, use teste binomial. Para comparações múltiplas (3 ou mais modelos), use o teste de Cochran

Obrigado