A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Aprendizagem de máquina: visão geral Francisco Carvalho, Paulo Adeodato, Geber Ramalho e Jacques Robin CIn-UFPE.

Apresentações semelhantes


Apresentação em tema: "Aprendizagem de máquina: visão geral Francisco Carvalho, Paulo Adeodato, Geber Ramalho e Jacques Robin CIn-UFPE."— Transcrição da apresentação:

1

2 Aprendizagem de máquina: visão geral Francisco Carvalho, Paulo Adeodato, Geber Ramalho e Jacques Robin CIn-UFPE

3 Aprendizagem On-Line: Agente Adaptativo sensores efetuadores Agente Gerador de problemas crítico elemento de aprendizagem avaliação objetivos de aprendizagem elemento ator trocas conhecimento a m b i e n t e Experiências informativas Depende do FRC Padrões de aceitação t t + 1

4 Aprendizagem Off-Line: Acquisição de Conhecimento para Sistema Inteligente Agente Base de conhecimento elemento de aprendizagem exemplos Engenheiro de conhecimento Escolhe e descreve parametriza elemento ator critica

5 Dimensões para classificar tarefas e técnicas de aprendizagem de máquina * Tarefas de aprendizagem: componente e aspeto do elemento de performance a melhorar * Complexidade do ambiente do agente aprendiz * Retorno no processo de treinamento do agente * Controle dos mecanismos de aprendizagem e de ação * Formalismo de representação do conhecimento * Aproveitamento de conhecimento prévio * Visões unificadoras: aprendizagem = adquirir uma representação, geralmente aproximativa, de uma função matemática aprendizagem = busca de uma região em um espaço de hipótese explicando os dados (exemplos) Relação com otimização, analise numérica, estatística * Propriedades matemática e viés a priori sobre a função a aproximar ou do espaço de hipótese a buscar

6 Técnicas de aprendizagem Paradigma simbólico: * Aprendizagem de conceitos por busca no espaço de soluções (version-space) * Indução de árvores de decisão e regras proposicionais * Programação em lógica indutiva * Aprendizagem por explicações * Raciocínio baseado em casos * Aprendizagem Q * Agrupamento de conceitos proposicionais Paradigma probabilista: * K Vizinhos mais próximo * Regressão estatística * Funções de bases radiais * Aprendiz bayesiano ingênuo Paradigma conexionista: * Perceptron multicamada * Memórias associativas Paradima evolucionista: * Algoritmos genéticos Abordagens híbridos: * Rede bayesianas

7 Tarefas de aprendizagem * Classificação: dados = instâncias conceitos aprende novo conhecimento da forma: t C I : Estado(Ambiente,t) x Percepções(t) Estado(Ambiente,t+1) * Previsão: dados(t) conceitos dados(t+1) aprende novo conhecimento da forma: t C P1 : Estado(Ambiente,t) Estado(Ambiente,t+1) t C P2 : Estado(Ambiente,t) x Ações(t) Estado(Ambiente,t+1) classificação destacando atributo tempo generaliza-se na identificação de serias temporais * Controle: dados política de comportamento aprende novo conhecimento da forma: t R: Percepções Ações, ou t C u1 : Estado(Ambiente,t) x Objetivos(t) Utilidade, ou t C u2 : Estado(Ambiente,t) x Ações(t) x Objetivos(t) Utilidade

8 Tarefas de aprendizagem * Otimização: aprender nova representação de conhecimento prévio para melhorar desempenho do agente e não sua versatilidade embora não envolve aprender nada de fundamentalmente novo as vezes a diferença entre 2 representações do mesmo problema é a diferença entre uma solução puramente teórica e uma solução operacional na prática * Meta-aprendizagem aprender valores ótimas de parâmetros ou de representações de viés para aprendizagem de conhecimento do domínio da aplicação * Aprendizagem multi-camada: muitas vezes, controle requer previsão, que requer classificação e o conhecimento assim obtido precisa ser otimizado para execução em tempo real ex, futebol de robôs

9 Complexidade do ambiente * Acessível? * Episódico? * Discreto? * Determinista? Ruidoso? * Dinâmico? * Relacional? * Diverso? * Grande?

10 Retorno no processo de treinamento * Aprendizagem supervisionada certo(ação) ou errado(ação) Dado conjunto de exemplos pré-classificados, Aprender descrição que abstraí a informação contida nesses exemplos e que pode ser usada para prever casos futuros ex., concessão de crédito * Aprendizagem não-supervisionada se vire! Dada uma coleção de dados não classificados, Agrupá-los por regularidades ex., caixa de supermercado empacotando

11 Retorno no processo de treinamento * Aprendizagem por reforço: recompensa/punição certo(ação1(t0)/.../ação(tn) ou errado(ação1(t0)/.../ação(tn)) dado sucesso ou insucesso global de um seqüência de ação, determinar qual ação e a mais desejável em cada situação ex., DeepBlue jogando contra ele próprio: é por a propagar para trás recompensas e punições a partir do estado final

12 Controle da aprendizagem * Aprende depois age ou aprende agindo (treinos x jogos) * Agir sempre otimamente x aprender novas habilidades * Busca de hipótese: incremental (exemplos apresentado ao poucos) ou não (todos de uma vez) iterativa (exemplos re-apresentados em várias épocas) ou não (uma apresentação de cada exemplo basta) top-down (refina hipótese geral para cobrir exemplos) ou bottom-up (generaliza exemplos para abstrair hipótese) ou bi-direcional gulosa (generaliza exemplos assim que encontrados) ou preguiçosa (não generaliza exemplos com antecedência, apenas os indexa para os adaptar ao receber novas consultas parecidas) global (aproxima função completa) ou local (aproxima-la por partes)

13 Representação do conhecimento * Função matemática: domínio e escopo: {0,1}, Z, R monotonia, continuidade polinomial, exponencial, logarítmica * Lógica: proposicional (ordem 0), de atributos (ordem 0+) de Horn ou dos predicados (ordem 1) exóticas (ordem superior, temporal, modal, etc) * Distribuição de probabilidades * Outros, ex.: Pesos em redes conexionistas, Representações orientada a objetos, Árvores de decisão, etc... se reduzem as 3 primeirasse reduzem as 3 primeiras

14 Conhecimento prévio * Aprendizagem sem conhecimento prévio: dados (exemplos) conhecimento * Aprendizagem com conhecimento prévio: dados x conhecimento prévio conhecimento aprendido * Métodos de aprendizagem que permitem usar conhecimento prévio em entrada: re-aproveitam de conhecimento: t adquirido com especialistas humanos t aprendido durante passos anteriores de KDD para aprendem a partir de muito menos dados Homogeneidade: Exemplos, conhecimento prévio e conhecimento aprendido pode ser representados no mesmo formalismo?

15 Viés * Conhecimento prévio: conhecimento do domínio da aplicação inteligente ex, futebol de robôs, bolsa de valor, meteorologia, etc. no mesmo formalismo do que o conhecimento a aprender * Viés: meta-conhecimento prévio sobre a forma do conhecimento a aprender a partir dos dados, ex., t classe de função a aproximar (linear, polinomial,...) t classe de função medindo o erro da aproximação (médio quadrado, …) t dimensionalidade do espaço de hipótese t distribuição probabilista dos pontos nesse espaço (normal, poisson,..) t restrições lexicais e sintática da linguagem de representação do conhecimento a aprender (ex, número de premissa ou conclusões de regras, numero de grupos classificando exemplos, …) sem viés não temgeneralização * Aprendizagem sem viés não tem poder de generalização !

16 Indução de árvore de decisão: características * Tarefas: classificação, previsão e controle * Ambiente: inacessível: + não episódico: + contínuo: + ou - ruidoso: + dinâmico: + relacional: - diverso: - grande: + * Supervisionado * Controle da aprendizagem: Treino antes da ação Não incremental Não iterativo Top-down Guloso Global * Representação do conhecimento: lógica propocisional * Não pode aproveitar de conhecimento prévio * Propriedades da função aproximada: escada N dimensional

17 Busca no espaço de versões: características * Tarefas: classificação, previsão e controle * Ambiente: inacessível: + não episódico: + contínuo: + ou - ruidoso: + ou - dinâmico: + ou - relacional: - diverso: - grande: + ou - * Supervisionado * Controle da aprendizagem : Treino antes da ação Incremental Não iterativo Bidirecional: top-down e bottom-up Guloso Global * Representação do conhecimento: lógica proposicional * Não pode aproveitar de conhecimento prévio * Propriedades da função aproximada: escada N dimensional

18 N vizinhos mais próximos Algoritmo de Treinamento * Para cada exemplo, * onde x=(x 1,…,x p ) é a sua descrição * e f(x) é a sua classificação, * adicionar o mesmo a lista treinamento Algoritmo de Classificação * Dada uma instância x q a ser classificada * seja x 1, …, x k, as k instancias da lista treinamento mais similares a x q * retorne f aprox (xq) o valor mais comum de f entre as k instancias da lista treinamento mais similares a x q

19 N mais vizinhos próximos: exemplo * 1 vizinho mais próximo classifica xq positivo, * 5 vizinhos mais próximos classifica x q negativo xqxq

20 N vizinhos mais próximos: características * Tarefas: classificação, previsão, controle * Ambiente: inacessível: + não episódico: + contínuo: + ruidoso: + dinâmico: + relacional: - diverso: - grande: + * Supervisionado * Controle da aprendizagem: Treino antes ou durante a ação Incremental Não iterativo Preguiçoso Local * Representação do conhecimento: pontos em espaço N dimensional * Não pode aproveitar de conhecimento prévio * Propriedades da função aproximada: 1 poliedro convexo ao redor de cada exemplo

21 Regressão localmente ponderada * Generalização do K vizinhos mais próximos * Constrói uma aproximação explicita de uma função f * em uma região próxima de x q * Aproximação linear, quadrática, exponencial,... de f Regressão linear: f aprox = w 0 + w 1 y 1 (x) + … + w p y p (x) * Escolher os pesos w i * que minimiza a soma dos quadrados dos erros * em relação aos k vizinhos mais próximos de x q

22 Regressão localmente ponderada: características * Tarefas: classificação, previsão, controle * Ambiente: inacessível: + não episódico: + contínuo: + ruidoso: + dinâmico: + relacional: - diverso: - grande: + * Supervisionado * Não pode aproveitar de conhecimento prévio * Controle da aprendizagem: Treino antes ou durante da ação Incremental Não iterativo Preguiçoso Local * Representação do conhecimento: pontos em espaço N dimensional * Propriedades da função aproximada: teoricamente qualquer função já que forma da função é parâmetro do método

23 Classificador bayesiano ingênuo: teorema de Bayes * V 1,... V n partição Y = i (Y V i ) * Então: P(Y) = i P(Y V i ) = i P(Y |V i ) P(V i ) * E então: V1V1 V2V2 ViVi VnVn Y

24 Classificador bayesiano ingênuo: idéia * Conjunto de treinamento = conjunto de pares onde x = (x 1, …, x p ), com x i valore do atributo i de x f(x) V = {V 1,..., V m ) * Classificador de Bayes: Aloca uma nova instância y = (y1, …, yp) o valor que maximamente verossímil v MAP v MAP = argmax P(v j / y 1, …, yp) v j V = argmax P(y 1, …, y p / v j ) P(v j ) (teorema de Bayes) v j V P(y 1, …, y p / v j ) e P(v j ) simplesmente freqüências na base exemplos * Hipótese ingênua de independência entre todos os atributos descritivos P(a 1, …, a p / v j ) = i P(a i / v j ) V NB = argmax P(v j ) i P(ai / v j ) V MAP = argmax P(y 1, …, y p / v j ) P(v j ) = V NB = argmax P(v j ) i P(ai / v j ) v j V v j V v j V

25 Dia Tempo Temp. Humid. Vento Jogar D1 Sol Quente Alta Fraco Não D2 Sol Quente Alta Forte Não D3 Coberto Quente Alta Fraco Sim D4 Chuva Normal Alta Fraco Sim D5 Chuva Frio Normal Fraco Não D6 Chuva Frio Normal Forte Não D7 Coberto Frio Normal Forte Sim D8 Sol Normal Alta Fraco Não D9 Sol Frio Normal Fraco Sim D10 Chuva Normal Normal Fraco Sim D11 Sol Frio Alta Forte ? Classificador bayesiano ingênuo: exemplo P(Sim) = 5/10 = 0.5 P(Não) = 5/10 = 0.5 P(Sol/Sim) = 1/5 = 0.2 P(Sol/Não) = 3/5 = 0.6 P(Frio/Sim) = 2/5 = 0.4 P(Frio/Não) = 2/5 = 0.4 P(Alta/Sim) = 2/5 = 0.4 P(Alta/Não) = 3/5 = 0.6 P(Forte/Sim) = 1/5 = 0.2 P(Forte/Não) = 2/5 = 0.4 P(Sim)P(Sol/Sim) P(Frio/Sim) P(Alta/Sim) P(Forte/Sim) = P(Não)P(Sol/Não)P(Frio/Não) P(Alta/Não) P(Forte/Não) = Jogar_Tenis(D11) = Não

26 Classificador bayesiano ingênuo: características * Tarefas: classificação, previsão e controle * Ambiente: inacessível: + não episódico: + contínuo: - ruidoso: + dinâmico: + relacional: - diverso: - grande: + * Supervisionado * Não pode aproveitar de conhecimento prévio * Controle da aprendizagem: Treino antes e durante a ação Não incremental Não iterativo Preguiçoso Global * Representação do conhecimento: probabilidades condicionais entre proposições representadas por pares atributo-valor * Propriedades da função a aproximar: distribuição de probabilidades univariada e discreta

27 * Aquisição manual do conhecimento: * Aprendizagem indutivo: * Case-based reasoning (CBR) Especialista Humano Raciocínio Baseado em Casos Regras ExemplosRegras Exemplos Exemplos parecidos

28 Raciocínio Baseado em Casos * Extensão de K vizinhos mais próximos: descrições simbólicas x coordenadas em um espaço euclidiano adaptação do resultado da função do exemplo cuja descrição é a mais próximo do novo caso a processar

29 novo caso (alvo) caso recupe- rado (fonte) problema base Reutilizar Recuperar Reter Revisar novo caso (alvo) solução sugerida solução final caso solução caso testado e corrigido caso aprendido Indexa r CBR: recuperar, reutilizar, revisar, reter

30 Raciocínio baseado em casos: características * Tarefas: classificação, previsão, controle * Ambiente: inacessível: + não episódico: + contínuo: + ruidoso: + dinâmico: - relacional: - diverso: - grande: + * Supervisionado * Não pode aproveitar de conhecimento prévio * Controle da aprendizagem: Treino durante da ação Incremental Não iterativo Preguiçoso Local * Representação do conhecimento: medida de similaridade entres pares de atributos-valores * Propriedades da função aproximada: depende do método particular de indexação, recuperação e adaptação do exemplos potencialmente qualquer função

31 Paradigma Conexionista: Redes Neurais * Definição Técnica inspirada no funcionamento do cérebro, onde neurônios artificiais, conectados em rede, são capazes de aprender e de generalizar. Técnica de aproximação de funções por regressão não linear. * Modelo de neurônio wji w1i wni s (i) e (i) s1s1 sjsj snsn degrau s e s e s et semi-linearsigmoide

32 Multilayer Perceptron (MLP) e Backpropagation camadas intermediárias camada de saída camada de entrada conexões

33 MLP: complexidade funcional em função do número de camadas

34 MLP: complexidade funcional em função do número de neurônio 3 neurônios1 neurônio5 neurônios 7 neurônios9 neurônios12 neurônios Problema das 2 espirais

35 Regiões de Decisão do MLP Ativação Sigmóide x Gaussiana

36 * Multi-Layer Perceptron (MLP) * Exemplos: codificados na camada (nós) de entrada * Classe, previsão ou ação: codificada na camada (nós) de saída * Algoritmo: parte de pesos aleatórios e iterativamente repetitivamente apresenta todos os exemplos a cada iteração (época) ajuste pesos tal que: até algum critério de convergência chega a ser satisfeito - taxa de aprendizagem (si - di), erro sj - saída do neurônio anterior j Redes Neurais: Perceptrão Multi-Camada com Retropropagação

37 Exemplo de aplicação de MLP: previsão de séries temporais

38 Perceptron Multi-Camada: características * Tarefas: classificação, previsão, controle * Ambiente: inacessível: + não episódico: + contínuo: + ruidoso: + dinâmico: + relacional: - diverso: - grande: + ou - * Supervisionado * Não pode aproveitar de conhecimento prévio * Controle da aprendizagem: Treino antes da ação Incremental ou não incremental Iterativo Guloso Global * Representação do conhecimento: pesos das conexões na rede * Propriedades da função aproximada: função arbitrária

39 Memórias associativas (Redes de Kohonen) * Agrupamento de padrões com características comuns a rede identifica características comuns ao longo do domínio dos padrões de entrada * Mapa topográfico de características Quantização vetorial (compressão de dados) Relações de vizinhança preservadas (transformações conformes) Representação de espaços N-Dimensionais em 2-D

40 Memórias associativas Entrada Estado /Saída * Camada de saída = camada de estados = grade 2-D * Camadas de entrada e saída totalmente conectadas Processamento em 3 passos : 1. excitação vertical global 2. seleção do neurônio mais excitado 3. excitação horizontal local ao redor desse neurônio com função de chapéu mexicano

41 Memórias associativas: algoritmo de aprendizagem * Inicializa a rede: define pesos iniciais (podem ser aleatórios), raio da vizinhança, taxa de aprendizagem e taxa de redução da vizinhança * Apresenta todos os exemplos N vezes * A cada iteração: para cada exemplo t apresenta o exemplo na camada de entrada calcula a distância euclidiana do vetor d j de entrada a cada neurônio j de saída seleciona o neurônio n j* de menor distância d j* atualiza os pesos do neurônio n j* e da sua vizinhança N j*, segundo a regra: w ij (t+1) = w ij (t) + (t)[x i (t)-w ij (t)] reduz a vizinhança e a taxa de aprendizagem (convergência)

42 Memória associativas: exemplo T=0 T=25 T=500 T= T = iteração

43 Memórias associativas: características * Tarefas: classificação, previsão? * Ambiente: inacessível: + não episódico: + contínuo: + ruidoso: + dinâmico: + relacional: - diverso: - grande: + * Não supervisionado * Não pode aproveitar conhecimento prévio * Controle da aprendizagem: Treino antes da ação Incremental Iterativo Preguiçoso? Global? * Representação do conhecimento: pesos das conexões da redes * Propriedades da função aproximada: ?

44 Paradigma evolutivo: algoritmos genéticos * EVOLUÇÃO diversidade é gerada por cruzamento e mutações os seres mais adaptados ao seus ambientes sobrevivem (seleção natural) as características genéticas de tais seres são herdadas pelas próximas gerações * Algoritmos genéticos: Definição Método probabilista de busca para resolução de problemas (otimização) inspirado na teoria da evolução

45 Algoritmos genéticos * Idéia: indivíduo = solução faz evoluir um conjunto de indivíduos mais adaptados por cruzamento através de sucessivas gerações fitness function f(i): R ->[0,1] * Aprendizagem on-line, numeríca Exemplo: Exemplo: ~compint\public_html\aulas-IAS\programas\ga\tsp2.exe

46 Aprendizagem evolucionária: características * Tarefas: classificação, previsão, controle, meta-aprendizagem * Ambiente: inacessível: + não episódico: + contínuo: + ruidoso: + dinâmico: - relacional: + ou - diverso: + grande: + * Supervisionado * Pode aproveitar de conhecimento prévio (população inicial não aleatória) * Controle da aprendizagem: Treino antes da ação Incremental Iterativo Guloso Global * Representação do conhecimento: Algoritmo genético: população de indivíduos, cada um representado por um bit string Programação genética: população de indivíduos, cada um representada pela árvore de instruções informática * Propriedades da função aproximada: função arbitrária?

47 : características * Tarefas: * Ambiente: inacessível: não episódico: contínuo: ruidoso: dinâmico: relacional: diverso: grande: * Supervisionado * Conhecimento prévio * Controle da aprendizagem: Treino antes da ação? Incremental? Iterativo? Top-down? Guloso? Global? * Representação do conhecimento: * Propriedades da função aproximada: escada N dimensional


Carregar ppt "Aprendizagem de máquina: visão geral Francisco Carvalho, Paulo Adeodato, Geber Ramalho e Jacques Robin CIn-UFPE."

Apresentações semelhantes


Anúncios Google