Conselhos para a aplicação de aprendizagem de máquinas

Apresentação em tema: "Conselhos para a aplicação de aprendizagem de máquinas"— Transcrição da apresentação:

1 Conselhos para a aplicação de aprendizagem de máquinas

2 O que fazer em seguida? Suponha que você tenha implementado regressão linear regularizada para a previsão do preço de moradias: No entanto, ao testar sua hipótese num novo conjunto de moradias, o algoritmo apresenta erros inaceitáveis de previsão. O que você deve fazer para melhorá-lo?

3 O que fazer em seguida? Rodar diagnósticos para descobrir o que fazer:
Conseguir mais exemplos de treinamento Tentar com um conjunto menor de características Tentar conseguir novas características Tentar adicionar características polinomiais Tentar aumentar λ Tentar diminuir λ Diagnósticos podem levar tempo para implementar, mas geralmente é um bom uso do seu tempo. Caso o algoritmo tenha altas taxas de erro, restam algumas alternativas para conseguir aumentar o desempenho do mesmo. Mas, quais alternativas escolher? A maiorias das pessoas tenta esses métodos aleatoriamente, mas seria essa a maneira correta?

4 Avaliando a hipótese Falha na generalização de novos exemplos que não estão no conjunto de treinamento

5 Conjunto de Teste Tamanho Preço 2104 400 1600 330 2400 369 1416 232
3000 540 1985 300 1534 315 1427 199 1380 212 1494 243 70% Treinamento Divisão aleatória dos dados. 30% Teste

6 Seleção de modelos Tamanho Preço 2104 400 1600 330 2400 369 1416 232
3000 540 1985 300 1534 315 1427 199 1380 212 1494 243 Treinamento 60% Validação cruzada Divisão aleatória dos dados. 20% Teste 20%

7 Bias/Variância Bias Alto (underfit) Alta Variância (overfit) Preço
Tamanho Preço Tamanho Preço Tamanho Bias Alto (underfit) Alta Variância (overfit)

8 Diagnosticando Bias vs. Variância
Suponha que seu algoritmo esteja apresentando erro de validação ou teste mais alto que o esperado. O problema é de bias ou de variância? Bias Variância Bias: Jt alto e Jv alto Jv (Erro de validação) Erro Variância: Jt baixo e Jv alto Jtreino (Erro de treino) Grau do polinômio

9 Regularização e Bias/Variância
Modelo: Price Size Price Size Price Size λ Alto – Bias Alto (underfit) λ Intermediário – curva ideal λ baixo – Alta variância (overfit)

10 Regularização e Bias/Variância
Melhor valor Jteste Jtreino

11 Curvas de Aprendizagem
erro

12 Curvas de Aprendizagem
erro

13 Curvas de Aprendizagem
erro

14 Curvas de Aprendizagem
erro

15 Curvas de Aprendizagem
erro

16 Curvas de Aprendizagem
erro

17 Curvas de Aprendizagem
erro Jvalidação Jtreino

18 Curvas de Aprendizagem – Bias Alto
Jvalidação price Erro Jtreino size price Se o algoritmo estiver com o bias alto, conseguir mais exemplos não vai ajudar. size

19 Curvas de Aprendizagem – Alta Variância
erro Jvalidação preço Jtreino tamanho Se o algoritmo estiver com uma alta variância, conseguir mais exemplos deve ajudar. preço tamanho

20 O que fazer em seguida? Conseguir mais exemplos de treinamento (alta variância) Tentar com um conjunto menor de características (alta variância) Tentar conseguir novas características (bias) Tentar adicionar características polinomiais (bias) Tentar aumentar λ (alta variância) Tentar diminuir λ (bias) Caso o algoritmo tenha altas taxas de erro, restam algumas alternativas para conseguir aumentar o desempenho do mesmo. Mas, quais alternativas escolher? A maiorias das pessoas tenta esses métodos aleatoriamente, mas seria essa a maneira correta?

21 Design de Sistema de Aprendizagem de Máquina

22 Construindo um Classificador de Spam
From: To: Subject: Buy now! Deal of the week! Buy now! Rolex w4tchs - $100 Med1cine (any kind) - $50 Also low cost M0rgages available. From: Alfred Ng To: Subject: Christmas dates? Hey Andrew, Was talking to Mom about plans for Xmas. When do you get off work. Meet Dec 22? Alf

23 Construindo um Classificador de Spam
Como gastar seu tempo para obter uma pequena taxa de erro? Coletar muitos dados. Desenvolver características sofisticadas baseadas em informações de roteamento de Desenvolver características sofisticadas para o corpo do texto. As palavras “discount” e “discounts” deveriam ser consideradas uma só? E a pontuação? Desenvolver algoritmo sofisticado para encontrar erros de grafia (w4tachs, med1cine, m0rgages)

24 Análise de Erro Abordagem recomendada:
Comece com um algoritmo simples, que possa ser implementado rapidamente. Implemente-o e teste no conjunto de validação. Desenhe as curvas de aprendizado para decidir se mais dados ou novas características podem ajudar. Observe manualmente os exemplos do conjunto de validação nos quais seu algoritmo cometeu erros. Veja se existe algum padrão sistemático no tipo de exemplo em que ele está cometendo os erros.

25 Análise de Erro mv = 500 exemplos no conjunto de validação
O Algoritmo erra 100 classificações Que tipo de s foram estes? Que características poderiam ajudar o algoritmo a acertar a classificação? Erros de escrita propositais: 5 (m0rgage, med1cine, etc.) Roteamento de estranho: 16 Pontuação estranha: 32 Farmácia: 12 Replica/falso: 4 Senhas roubadas: 53 Outros: 31

26 Métricas de Erro para Classes Distorcidas
Exemplo de classificação de câncer É treinado um modelo de regressão logística hθ(x). (y = 1 e caso de câncer e y = 0 caso contrário) É encontrado 1% de erro no conjunto de teste Apenas 0.5% dos pacientes tem câncer (classe distorcida) function y = predictCancer(x) y = 0; %ignore x! return

27 Métricas de Erro para Classes Distorcidas
Y = 1 é uma classe rara que queremos detectar! Precisão: De todos os pacientes que foram classificados com y = 1, quais realmente têm câncer? 𝑉𝑒𝑟𝑑𝑎𝑑𝑒𝑖𝑟𝑜 𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑜 𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑜𝑠 𝑃𝑟𝑒𝑣𝑖𝑠𝑡𝑜𝑠 = 𝑉𝑒𝑟𝑑𝑎𝑑𝑒𝑖𝑟𝑜 𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑜 𝑉𝑒𝑟𝑑𝑎𝑑𝑒𝑖𝑟𝑜 𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑜+𝐹𝑎𝑙𝑠𝑜 𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑜 Recall: De todos os pacientes que têm câncer, Que fração nós classificamos corretamente? 𝑉𝑒𝑟𝑑𝑎𝑑𝑒𝑖𝑟𝑜 𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑜 𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑜𝑠 𝑟𝑒𝑎𝑖𝑠 = 𝑉𝑒𝑟𝑑𝑎𝑑𝑒𝑖𝑟𝑜 𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑜 𝑉𝑒𝑟𝑑𝑎𝑑𝑒𝑟𝑜 𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑜+𝐹𝑎𝑙𝑠𝑜 𝑁𝑒𝑔𝑎𝑡𝑖𝑣𝑜

28 Métricas de Erro para Classes Distorcidas
Classe Prevista Real (1) Classe (0) 1 Verdadeiro Positivo Falso Positivo Falso Negativo Verdadeiro Negativo

29 Precisão vs. Recall Regressão logística: 0 ≤ ℎ 𝜃 𝑥 ≤1
Prever 1 caso ℎ 𝜃 𝑥 ≥ 0.7, 0.9, 0.3 Prever 0 caso ℎ 𝜃 𝑥 < 0.7, 0.9, 0.3 Prever 𝑦=1(câncer) apenas se tivermos muita certeza. Alta precisão, baixo recall Evitar perder muitos casos de câncer (evitar falsos negativos). Alto recall, baixa precisão Limiar = 0.99 1 0.5 Recall Precisão Limiar = 0.01 Prever 1 caso ℎ 𝜃 𝑥 ≥ limiar

30 𝐹 1 Score (F Score) Média = 𝑃+𝑅 2 𝐹 1 Score = 2 𝑃𝑅 𝑃+𝑅 Precisão(P)
Recall (R) Média F1 Score Algoritmo 1 0.5 0.4 0.45 0.444 Algoritmo 2 0.7 0.1 0.175 Algoritmo 3 0.02 1.0 0.51 0.0392 Média = 𝑃+𝑅 2 𝐹 1 Score = 2 𝑃𝑅 𝑃+𝑅

31 Criando um Sistema de Aprendizagem com Alta Precisão
Ex: Classificação entre palavras confundíveis (to, two, too; than, then) Algoritmos: Perceptron (Logistic regression) Winnow Memory-based Naïve Bayes Conjunto de treinamento (milhões) Precisão