Aprendizado de Máquina Fábio de Azevedo Soares fazevedo@ele.puc-rio.br

Agenda Introdução Aprendizado Supervisionado Aprendizado Não-Supervisionado Aprendizado por Reforço Aplicações Referências © LES/PUC-Rio

Introdução Aprendizado de Máquina (do inglês, Machine Learning) é a área de Inteligência Artificial cujo objetivo é o desenvolvimento de técnicas computacionais sobre processo de aprendizado (BISHOP, 2007). Desde que os computadores foram inventados temos nos perguntado: “Eles são capazes de aprender?” Se pudéssemos programá-los para aprender –para se aperfeiçoar automaticamente com a experiência –o impacto seria surpreendente. Infelizmente ainda não sabemos como fazer computadores aprender de uma maneira similar a maneira como os humanos aprendem. Entretanto, foram desenvolvidos algoritmos que são eficientes em certos tipos de tarefas de aprendizagem e um entendimento teórico de aprendizagem está começando a surgir. © LES/PUC-Rio

Introdução Aprender pode ser caracterizado como a capacidade de obter melhor desempenho pela experiência. “Um programa aprende a partir da experiência E, em relação a uma classe de tarefas T, com me- dida de desempenho P, se seu desempenho em T, medido por P, melhora com E” MITCHELL, 1997 Aprender significa “mudar para fazer melhor”(de acordo com um dado critério) quando uma situação similar acontecer. Aprendizagem, não é “memorizar”. Qualquer computador pode “memorizar”, a dificuldade é em “generalizar”um comportamento para uma nova situação. © LES/PUC-Rio

Introdução Detecção de bons clientes para um cartão de crédito Tarefa T: classificar potenciais novos clientes como bons ou maus pagadores; Medida de Desempenho P: porcentagem de clientes classificados corretamente; Experiência de Treinamento E: uma base de dados histórica em que os clientes já conhecidos são previamente classificados como bons ou maus pagadores. © LES/PUC-Rio

Introdução A idéia por trás da aprendizagem é que as percepções devem ser usadas não apenas para agir, mas, também para melhorar a habilidade do agente (RUSSEL & NORVIG, 2004). Ambiente Percepções Sensores ? Um agente é tudo o que pode ser considerado capaz de perceber seu ambiente por meio de sensores e de agir sobre esse ambiente por intermédio de atuadores. Ações Atuadores Agente © LES/PUC-Rio

2. Elemento de aprendizagem Introdução No modelo simples de AM, representado abaixo, o ambiente fornece alguma informação para um elemento de aprendizagem (HAYKIN, 2001): O elemento de aprendizagem utiliza, então, esta informação para aperfeiçoar a base de conhecimento, e finalmente, o elemento de desempenho utiliza a base de conhecimento para executar a sua tarefa. 1. Ambiente 2. Elemento de aprendizagem 3. Base de conhecimento 4. Elemento de Desempenho Para que seja possível o aprendizado, um sistema de IA deve ser capaz de realizar três tarefas (RUSSELL & NORVIG, 2004): Armazenar conhecimento; Aplicar o conhecimento armazenado para resolver problemas; Adquirir novo conhecimento. O tipo de realimentação disponível para aprendizagem normalmente é o fator mais importante na determinação da forma de aprendizagem que o agente enfrenta. Armazenar conhecimento; Aplicar o conhecimento; Adquirir novo conhecimento. © LES/PUC-Rio

Formas de Aprendizagem O campo de Aprendizado de Máquina distingue três casos: Aprendizado Supervisionado; Aprendizado Não-Supervisionado; Aprendizado por Reforço. © LES/PUC-Rio

Aprendizado Supervisionado É fornecida uma referência do objetivo a ser alcançado: o algoritmo de aprendizado recebe o valor de saída desejado para cada conjunto de dados de entrada apresentado. Envolve o aprendizado de uma função a partir de exemplos de sua entrada e saída. Para rótulos discretos, esse problema é chamado de classificação e para valores contínuos como regressão. Exemplos de algoritmos: Árvores de Decisão, Redes Neurais (BP), SVM, TBL. © LES/PUC-Rio

Aprendizado Supervisionado Vetor de entrada Saída calculada Algoritmo de Aprendizado Saída desejada Erro © LES/PUC-Rio

Aprendizado Supervisionado Procedimento básico de treinamento: Coletar um grande conjunto de exemplos. Dividir este conjunto em dois sub-conjuntos distintos: conjunto de treinamento e conjunto de teste. Treinar o algoritmo de aprendizado junto ao conjunto de treinamento. Simular o algoritmo de aprendizado treinado no conjunto de testes e medir a porcentagem de exemplos corretamente classificados. Repetir os passos de 1 a 5 para diferentes tamanhos de conjuntos de treinamento e diferentes conjuntos de treinamento Treinamento / recall / validação cruzada / overfitting / underfitting / © LES/PUC-Rio

Aprendizado Não-Supervisionado É fornecido somente o conjunto de dados de entrada: Não existe “a” saída desejada. Envolve a aprendizagem de padrões na entrada quando não são apresentados valores de saída específicos. Em geral, é utilizado para encontrar aglomerados de conjuntos de dados semelhantes entre si (clusters). Exemplos de algoritmos: C-means, K-means, KNN, Redes Neurais (SOM). Clusterização e Classificação © LES/PUC-Rio

Aprendizado Não-Supervisionado SOM (Self-Orgazining Map) Vizinhança Entrada Definição de Vizinhança: – se Nc(t) for pequena inicialmente, o mapa não se ordenará globalmente; – Nc(t) deve ser grande inicialmente e ir diminuindo com o tempo; • Nc(0) pode ser maior que a metade do diâmetro da rede! Atualização © LES/PUC-Rio

Aprendizado por Reforço Aprendizado a partir da interação “learner–environment”: Muitas vezes é impraticável o uso de aprendizagem supervisionada. Baseado em “tentativa e erro”. Existe processo de busca (exploration) no espaço Aprende a escolher ações apenas interagindo com o ambiente. Através das interações, o agente descobre as relações de causa e efeito. SL Aprendizado a partir de padrões entrada-saída.  Baseado em minimizar um erro.  Busca limitada ao valores dos padrões padrões entrada-saída  Orientado a aproximação de função © LES/PUC-Rio

Aprendizado por Reforço SUTTON, R. S. & BARTO, A. G. (1998) Percepções do ambiente. Atua no ambiente. Recebe o reforço da ação executada. O agente recebe do ambiente um valor de resposta (recompensa/reforço). Esta recompensa avalia o desempenho do agente durante o processo de aprendizado. © LES/PUC-Rio

Aprendizado por Reforço Agente motorista de taxi: Falta de gorjeta no fim da viagem; Multa pesada por avançar sinal; Bater na traseira de um carro O reforço fornece alguma indicação ao agente de que seu comportamento é desejável ou não. Em geral inclui o subproblema de aprender como o ambiente funciona. © LES/PUC-Rio

Aplicações Os métodos de Aprendizado de Máquina têm sido empregados em problemas como: Veículos autônomos que aprendem a dirigir em vias expressas. Reconhecimento da fala. Detecção de fraudes em cartões de crédito. Estratégias para a construção de jogos. Programas de Mineração de Dados que descobrem regras gerais em grandes bases de dados. Sistemas biométricos. Sistemas financeiros. © LES/PUC-Rio

Referências BISHOP, C. M. (2007). Pattern Recognition and Machine Learning. Springer. HAYKIN, S. (2001). Redes Neurais: princípios e prática. Porto Alegre: Bookman. MITCHELL, T. (1997). Machine Learning. McGraw Hill. RUSSELL, N., & NORVIG, P. (2004). Inteligência Artificial (2 ed.). Rio de Janeiro: Elsevier. SUTTON, R. S. & BARTO, A. G. (1998), Reinforcement Learning: An Introduction. MIT Press. © LES/PUC-Rio