A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Reconhecimento de Padrões Receiver Operating Characteristics (ROC) David Menotti, Ph.D. www.decom.ufop.br/menoti Universidade Federal de Ouro Preto (UFOP)

Apresentações semelhantes


Apresentação em tema: "Reconhecimento de Padrões Receiver Operating Characteristics (ROC) David Menotti, Ph.D. www.decom.ufop.br/menoti Universidade Federal de Ouro Preto (UFOP)"— Transcrição da apresentação:

1 Reconhecimento de Padrões Receiver Operating Characteristics (ROC) David Menotti, Ph.D. Universidade Federal de Ouro Preto (UFOP) Programa de Pós-Graduação em Ciência da Computação (PPGCC)

2 Introdução A escolha do limiar de rejeição é um aspecto muito importante na construção de um classificador. –Mudança deste limiar afeta o desempenho do sistema. –ROC é uma ferramenta muito útil na análise e comparação de classificadores.

3 Desempenho Dado um classificador com duas saídas, existem saídas possíveis.

4 Desempenho True Positive False Positive False Negative True Negative AB TP – Classe é A e classificamos como A TN – Classe é B e classificamos como B FP – Classe é B e classificamos como A FN – Classe é A e classificamos como B

5 Tipos de Erro Erro Tipo I –Também conhecido como α-erro ou falso positivo. –Acontece quando aceita-se como genuína uma coisa que é falsa. Erro Tipo II –Também conhecido como β-erro ou falso negativo. –Acontece quando rejeitamos algo que deveria ter sido aceito.

6 Terminologia True Positive Acerto True Negative Rejeição correta False Positive Erro Tipo I, falso alarme False Negative Erro Tipo II True Positive Rate (TPR) Sensitivity –TPR = TP/P = TP/(TP+FN) False Positive Rate (FPR) (1 – Specificity) –FPR = FP/N = FP/(FP+TN) Accuracy (Exatidão) –ACC = (TP+TN)/(P+N)

7 Gráfico ROC Gráfico em duas dimensões –X: FPR, Y: TPR Vários pontos são interessantes de serem observados –Conservador (A/B) –Liberal (B/A)

8 Desempenho Aleatório Um classificador que aparece abaixo da diagonal principal é pior que o desempenho aleatório.

9 Gráfico ROC Conservador –Aquele classificador que aceita poucos False Positives, mas consequentemente penaliza bastante o desempenho dos True Positives Liberal –Aquele classificador que não se importa muito em aceitar bastante False Positive. Por outro lado, seu desempenho nos True Positives é muito bom.

10 Gráfico ROC Equal Error Rate –Ponto do gráfico no qual FPR é igual a 1-TPR –Medida de desempenho e comparação quando não existe um ponto operacional específico.

11 Exemplo Considere 20 amostras: – 10 positivas e 10 negativas. #ClasseScore#ClasseScore

12 Exemplo (cont) Após ordenar os dados pelo score, temos o seguinte gráfico Note que cada ponto operacional tem um limiar associado.

13 Exemplo (cont) Suponha que a especificação do seu sistema diga que o máximo FPR do seu sistema é Qual seria o limiar de rejeição? Qual seria a taxa de acerto do sistema? Para o limiar 0.54, a taxa de reconhecimento seria 70% (5 + 9) / 20 = 0.70

14 Fawcett (2006).

15 Classes Desbalanceadas Uma propriedade bastante interessante da curva ROC é que ela é insensível a distribuição de classes. Taxa de reconhecimento é sensível –Suponha que tenhamos 5 vezes mais elementos na classe a do que na classe b. –A taxa de reconhecimento pode ser elevada mas errar quase todos os exemplos da classe b.

16 Classes Desbalanceadas Se a proporção de exemplos positivos e negativos muda na base de teste, a curva ROC não sofre alterações. Isso permite uma fácil visualização do desempenho dos classificadores independentemente da distribuição das classes.

17 Convex-Hull\ O conceito de convex-hull em ROC possibilita –Descartar classificadores que não fazem parte do convex-hull Classificadores B e D nesse caso não são necessários. –Gerar novos classificadores Através da interpolação. Fawcett (2006).

18 Convex-Hull Um novo classificador H, pode ser gerado da seguinte maneira. –Gere um número aleatório entre 0 e 1. –Se o número for maior que k, então escolha A, caso contrário, escolha B. k =0.5

19 Um exemplo Deseja-se oferecer uma nova apólice de seguros para –4000 clientes, porém $$$ somente para 800 –(A priori) 6% respondem 240 respondem / 3760 não-respondem Dois Classificadores –A: (0,10 ; 0,2) 0.2 x ,10 x 3760 = 424 candidatos –B: (0,25 ; 0,6) 0.6 x ,25 x 3760 = 1084 candidatos Gere um k entre [0,1] Escolha: - A se k > 0,53, - B, caso contrário.

20 Area Under the Curve (AUC) Métrica usada para comparar classificadores. Classificador B tem uma área maior, logo um desempenho médio melhor. Fawcett (2006).

21 Referências Bibliográficas Fawcett, An introduction to ROC analysis Pattern Recognition Letters, 27:8-861–874, An introduction to ROC analysis Provost & Fawcett Robust Classification for Imprecise Environments Machine Learning Journal, 42:3 pp , Robust Classification for Imprecise Environments Wikipedia Receiver Operating Characteristic en.wikipedia.org/wiki/Receiver_operating_characteristic Receiver Operating Characteristic


Carregar ppt "Reconhecimento de Padrões Receiver Operating Characteristics (ROC) David Menotti, Ph.D. www.decom.ufop.br/menoti Universidade Federal de Ouro Preto (UFOP)"

Apresentações semelhantes


Anúncios Google