Aprendizagem Automática Uma Introdução Cristina Mota Instituto Superior Técnico L2F Inesc-ID New York University.

Apresentação em tema: "Aprendizagem Automática Uma Introdução Cristina Mota Instituto Superior Técnico L2F Inesc-ID New York University."— Transcrição da apresentação:

1 Aprendizagem Automática Uma Introdução Cristina Mota Instituto Superior Técnico L2F Inesc-ID New York University

2 O que é Aprendizagem Automática? “The field of Machine Learning is concerned with the question of how to construct computer programs that automatically improve with experience” (Mitchell, 1997) “Machine learning studies automatic techniques for learning to make accurate predictions based on past observations” (Schapire, 2001)

3 Exemplo 1 – Reunir tantos exemplos quanto possível de SPAM e não-SPAM 2 – Fornecer esses exemplos, previamente classificados (S/NS), ao algoritmo favorito de Aprendizagem que automaticamente irá produzir uma classificação ou regra de predição 3 – Dado um novo exemplo, não classificado, a regra tenta atribuir uma classificação O objectivo é produzir uma regra que faça predições tão precisas quanto possível relativamente a novos exemplos. Problema: Filtrar as mensagens electrónicas de modo a reconhecer SPAM Abordagem de Aprendizagem Automática:

4 Definição do problema Classe de tarefas Medida de desempenho a ser melhorada Fonte de aprendizagem Problema de aprendizagem de Reconhecimento de EMs Tarefa T: Identificar e classificar EMs em textos Medida de desempenho D: Medida-F Fonte de aprendizagem E: Texto previamente classificado

5 Desenho do sistema Escolher: - a experiência de treino Como? - uma função alvo O quê? - uma representação para a função alvo - algoritmo de aproximação da função - estimar valores de treino - ajustar os valores - desenho final

6 Questões Que algoritmos existem para aprender funções alvo genéricas a partir de exemplos de treino? Em que condições converge o algoritmo, havendo dados de treino suficientes? Que algoritmos se comportam melhor face a que tipo de problemas e representações? Que quantidade de dados de treino é necessária? Que limites genéricos podem ser encontrados que relacionem a confiança nas hipóteses aprendidas e a quantidade de experiência de treino e natureza do espaço de hipóteses do “aprendiz”? Quando e como é que conhecimento anterior mantido pelo “aprendiz” pode guiar o processo de generalização a partir de exemplos? Pode o conhecimento anterior ser útil mesmo quando só está aproximadamente correcto?

7 Desenho do sistema Qual é a melhor forma para reduzir a tarefa de aprendizagem a um ou mais problemas de aproximação de funções? Ou seja, que funções específicas deve o sistema tentar aprender? Pode este mesmo processo ser automatizado? Como é que o “aprendiz” pode automaticamente alterar a sua representação para melhorar a sua capacidade de representar e aprender a função alvo? Qual é a melhor estratégia para escolher a experiência seguinte mais útil? Como é que a escolha dessa estratégia altera a complexidade do problema de aprendizagem?

8 Paradigmas de Aprendizagem COMPUTACIONAL Existe uma representação simbólica manipulada por um sistema de inferência Mecanismo de Inferência Dedutivo Conhecimento inferido a partir do que já existe, mas que estava implícito. O novo conhecimento é sempre verdadeiro. Com base em apenas um exemplo, cria novas regras. Indutivo Obtenção de conhecimento instrinsecamente novo. O novo conhecimento pode não ser verdadeiro. Usa técnicas de generalização. Usa vários exemplos para criar novas regras. Analógico Dado um outro problema e a sua solução, relaciona os dois problemas para chegar a uma nova solução. É necessário descobrir problemas análogos ao que se tem em mãos.

9 Paradigmas de Aprendizagem COMPUTACIONAL Existe uma representação simbólica manipulada por um sistema de inferência Aprendizagem de conceitos (Concept Learning) aquisição da definição de uma categoria genérica a partir de exemplos positivos e negativos dessa categoria. Decision Tree Learning Método para aproximar funções de valores discretos que é robusto a dados com ruído, capaz de aprender expressões disjuntivas. Ex: ID3, ASSISTANT, C4.5 Adequados para problemas com as seguintes características - Instâncias representadas por pares atributo-valor - A função alvo tem saídas discretas - Pode ser necessário descrições disjuntivas - Os dados de treino podem conter erros - Os dados de treino podem conter valores desconhecidos

10 Paradigmas de Aprendizagem NEURONAL Inspirado no funcionamento do cérebro ∑ a0a0 a1a1 a2a2 a n-1 anan 1 x1x1 x2x2 x n-1 xnxn S 0/1 Perceptrão de Rosenblatt Regra de Aprendizagem ≡ a i (n+1) = a i (n) -ηx i (o-d)

11 Paradigmas de Aprendizagem NEURONAL Inspirado no funcionamento do cérebro ∑ a0a0 a1a1 a2a2 a n-1 anan 1 x1x1 x2x2 x n-1 xnxn O Regra de Aprendizagem (delta rule)≡ a i (n+1) = a i (n) -η∑x i k (o k -d k ) ADALINE – ADAptive LINear Element (LMS – Least Mean Squares)≡ a i (n+1) = a i (n) -ηx i k (o k -d k ) Batch Online

12 Paradigmas de Aprendizagem NEURONAL Inspirado no funcionamento do cérebro Perceptrão multicamada para a frente ∑ a0a0 a1a1 anan 1 x1x1 xnxn S1S1 y1y1 ∑ b0b0 bnbn 1 S3S3 ∑ c0c0 c1c1 cncn 1 x1x1 xnxn S2S2 y2y2 ∑ d0d0 d1d1 1 S4S4 y3y3 y4y4 d2d2 Aprendizagem: Retropropagação

13 Paradigmas de Aprendizagem NEURONAL Inspirado no funcionamento do cérebro Adequados para problemas com as seguintes características - Instâncias representadas por muitos pares atributo-valor - Funções com valores reais, discretos e vectoriais - Os dados de treino podem conter ruído - É aceitável ter tempos de processamento grandes - Possa ser necessário uma rápida avaliação da função alvo - A (in)capacidade de humanos compreenderem a função alvo não é importante

14 Paradigmas de Aprendizagem GENÉTICO Inspirado na teoria de evolução das espécies População Inicial Selecção NaturalFunção de adaptaçãoX = ∑ 1/3 2/9 1/9

15 Paradigmas de Aprendizagem GENÉTICO Inspirado na teoria de evolução das espécies População Inicial RecombinaçãoPontos de corte Selecção NaturalFunção de adaptaçãoX = ∑

16 Paradigmas de Aprendizagem GENÉTICO Inspirado na teoria de evolução das espécies População Inicial RecombinaçãoPontos de corte Selecção NaturalFunção de adaptaçãoX = ∑

17 Paradigmas de Aprendizagem GENÉTICO Inspirado na teoria de evolução das espécies População Inicial Mutação Frequência RecombinaçãoPontos de corte Selecção NaturalFunção de adaptaçãoX = ∑

18 Paradigmas de Aprendizagem GENÉTICO Inspirado na teoria de evolução das espécies Nova População MutaçãoFrequência RecombinaçãoPontos de corte Selecção NaturalFunção de adaptaçãoX = ∑ FIM: Solução óptima ou suficientemente boa

19 Paradigmas de Aprendizagem EMERGENTE Inspirado na organização das sociedades Depende de um autómato celular (rede de células), em que cada célula tem um estado que das células vizinhas e é fixado por um conjunto de regras As transições de estado de um autómato celular dão-se em paralelo

20 Problema da Generalização Universo Treino Teste Validação Validação Cruzada Erro x

21 Aprendizagem em PLN Brill Yarowsky Mikheev Borthwick