Inteligência Artificial

Name: Inteligência Artificial
Uploaded: 2017-12-25T12:27:40+00:00
Duration: PTM24S48
Channel: Ana Laura Rico Imperial
Description: Inteligência Artificial

Inteligência Artificial
28/04/2017 Inteligência Artificial Métodos Geométricos Docente: André C. P. L. F. de Carvalho PAE: Everlândio Fernandes

André Ponce de Leon de Carvalho
28/04/2017 Principais tópicos Modelo numérico de classificação Análise discriminante e regressão logística Motivação para redes neurais Arquitetura e aprendizado Principais modelos SVMs André Ponce de Leon de Carvalho

Discriminante linear Busca modelo com melhor ajuste aos dados
Representado matematicamente Fronteira de decisão = reta (hiperplano) Combinação linear dos atributos preditivos Soma ponderada Valores dos pesos? Redes neurais Classificação ou regressão Glicose Plaquetas y = ax + b g = px + b g = -2p +15 Função de classificação: f(x) = w0 + w1x1 + w2x

Regressão logística Estima probabilidade que um exemplo pertence a uma dada classe Distância a fronteira de decisão definida por uma função linear Problema: -∞< f(x) < -∞ 0 < f(x) < 1 Solução: usar chance e log(chance)

Regressão logística Encontrar f(x) que modela log(Chance)
Prob. Chance Log(Chance) 0,5 50:50 = 0,9 90:10 = ,19 0, :1 = ,9 0,01 1:99 = 0, ,6 0,001 1:999 = 0, ,9 Encontrar f(x) que modela log(Chance) Estima probabilidade usando mesmo modelo linear de análise de discriminante

Redes Neurais Sistemas distribuídos inspirados no cérebro humano Compostas por várias unidades de processamento (“neurônios”) Interligadas por um grande número de conexões (“sinapses”) Eficientes em várias aplicações André Ponce de Leon de Carvalho

Neurônio natural Um neurônio simplificado: Dendritos Axônio Sinal Corpo Sinapse André Ponce de Leon de Carvalho

Neurônio artificial Modelo de um neurônio abstrato Entradas Pesos Saída w f w w w f w Sinal w André Ponce de Leon de Carvalho

28/04/2017 Conceitos básicos Principais aspectos das RNA Arquitetura Unidades de processamento (neurônios) Conexões Topologia Aprendizado Algoritmos Paradigmas André Ponce de Leon de Carvalho

Unidades de processamento
28/04/2017 Unidades de processamento Funcionamento Recebe entradas de conjunto de unidades A Aplica função sobre entradas Envia resultado para conjunto de unidades B Entrada total x1 w1 w2 wm x2 f (åxiwi) xm André Ponce de Leon de Carvalho

28/04/2017 Conexões Definem como neurônios estão interligados Codificam conhecimento da rede Tipos de conexões: Excitatória: (wik(t) > 0) Inibitória: (wik(t) < 0) André Ponce de Leon de Carvalho

28/04/2017 Topologia Número de camadas Cobertura das conexões Arranjo das conexões Completamente Parcialmente Localmente RN Feedforward Recorrente André Ponce de Leon de Carvalho

Algoritmos de aprendizado
28/04/2017 Algoritmos de aprendizado Conjunto de regras que define como ajustar os parâmetros da rede Principais formas de ajuste Correção de erro Hebbiano Competitivo Termodinâmico (Boltzmann) André Ponce de Leon de Carvalho

Paradigmas de aprendizado
28/04/2017 Paradigmas de aprendizado Define informações externas que são passadas a rede durante seu aprendizado Principais abordagens Supervisionado Não supervisionado Semi-supervisionado Reforço Híbrido André Ponce de Leon de Carvalho

28/04/2017 Perceptron Primeira rede - Rosemblat, 1958 Modelo de neurônio de McCulloch-Pitts Treinamento Supervisionado Correção de erro wi(t)= wi(t-1) + Dwi Dwi = hxi d Dwi = hxi (y – f(x)) Teorema de convergência x1 w1 w2 wm x2 f (åxiwi) xm André Ponce de Leon de Carvalho

Perceptron Resposta / saída da rede Aplica função limiar sobre soma total de entrada recebida por um neurônio f(u) f(u-)  u u- f(u-) = sinal (u-) f(net) = f(u-) André Ponce de Leon de Carvalho

Algoritmo de treinamento
28/04/2017 Algoritmo de treinamento 1 Iniciar todas as conexões com wi = 0 2 Repita Para cada par de treinamento (X, y) Calcular a saída f(net) Se (y ¹ f(net)) Então Atualizar pesos do neurônio Até o erro ser aceitável André Ponce de Leon de Carvalho

28/04/2017 Exemplo Dada uma rede Perceptron com: Três entradas, pesos iniciais w1 = 0.4, w2 = -0.6 e w3 = 0.6, e limiar (viés)  = 0.5: Ensinar a rede com os exemplos (001, -1) e (110, +1) Utilizar taxa de aprendizado  = 0.4 Definir a classe dos exemplos: 111, 000, 100 e 011 André Ponce de Leon de Carvalho

28/04/2017 Exemplo x1 x2 x3 w1 w2 w3 f(x) Situação desejada -1 001 Viés 110 +1 André Ponce de Leon de Carvalho

28/04/2017 Exemplo - treinamento a) Treinar a rede a.1) Para o exemplo (y = -1) Passo 1: definir a saída da rede u- = -1(0.5) + 0(0.4) + 0(-0.6) + 1(0.6) = 0.1 f(x) = +1 (uma vez 0.1 ³ 0) Passo 2: atualizar pesos (y  h(x)) w0 = (-1)(-1 - (+1)) = 1.3 w1 = (0)(-1 - (+1)) = 0.4 w2 = (0)(-1 - (+1)) = -0.6 w3 = (1)(-1 - (+1)) = -0.2 -1 001 110 +1 wi(t)= wi(t-1) + hxi(y – f(x)) André Ponce de Leon de Carvalho

Exemplo - teste Utilizar a rede treinada para classificar os exemplos 111, 000, 100 e 011 Pesos aprendidos: 0.5, 1.2, 0.2 e -0.2 b.1) Para o exemplo 111 u- = -1(0.5) + 1(1.2) + 1(0.2) + 1(-0.2) = 0.7 f(x) = 1 (porque 0.7 ³ 0) ) Þ classe +1 b.2) Para o exemplo 000 u- = -1(0.5) + 0(1.2) + 0(0.2) + 0(-0.2) = -0.5 f(x) = -1 (porque -0.5 < 0) Þ classe -1 André Ponce de Leon de Carvalho

Exercício Seja o seguinte cadastro de pacientes: Nome Febre Enjôo Manchas Dores Diagnóstico João sim sim pequenas sim doente Pedro não não grandes não saudável Maria não sim pequenas não saudável José sim sim grandes sim doente Ana sim não pequenas sim saudável Leila não não grandes sim doente André Ponce de Leon de Carvalho

Exercício Ensinar uma rede do tipo Perceptron a distinguir: Pacientes potencialmente saudáveis Pacientes potencialmente doentes Testar a rede para novos casos (Luis, não, não, pequenas, sim) (Laura, sim, sim, grandes, sim) André Ponce de Leon de Carvalho

Problemas com Perceptron
28/04/2017 Problemas com Perceptron 0, 0 ® 0 0, 1 ® 1 1, 0 ® 1 1, 1 ® 0 1 André Ponce de Leon de Carvalho

Rede Multi-Layer Perceptron
28/04/2017 Rede Multi-Layer Perceptron Arquitetura de RNA mais utilizada Uma ou mais camadas intermediárias de neurônios Funcionalidade Uma camada intermediária: qualquer função contínua ou Booleana Duas camadas intermediárias: qualquer função Originalmente treinada com o algoritmo Backpropagation André Ponce de Leon de Carvalho

28/04/2017 MLP e Backpropagation camadas intermediárias camada de saída entrada conexões André Ponce de Leon de Carvalho

28/04/2017 Backpropagation Treina a rede com pares entrada-saída Cada vetor de entrada é associado a uma saída desejada Treinamento em duas fases, cada uma percorrendo a rede em um sentido Fase forward Fase backward Sinal (forward) Erro (backward) André Ponce de Leon de Carvalho

Backpropagation Treinamento Supervisionado Ajuste dos pesos: Dwij = hxi dj Se f (net) for uma função sigmoidal, f´(net)=f(net)(1–f(net) Treinamento não é garantido de convergir Gradiente da função erroj = André Ponce de Leon de Carvalho

Backpropagation Função de ativação Não linear Diferenciável , contínua e, geralmente, não decrescente Sigmoidal f(x) = 1/(1 + e- net) (sigmoidal logística) f(x) = (1 - e-net) (tangente hiperbólica) (1 +e-net) André Ponce de Leon de Carvalho

28/04/2017 Treinamento Iniciar todas as conexões com valores aleatórios Repita erro = 0; Para cada par de treinamento (X, y) Para cada camada k := 1 a N Para cada neurônio j := 1 a Mk Calcular a saída fkj(net) Se k= N Calcular soma dos erros de seus neurônios; Se erro >  Para cada camada k := N a 1 Para cada neurônio j:= 1 a Mk Atualizar pesos; Até erro <  (ou número máximo de ciclos) André Ponce de Leon de Carvalho

Treinamento modificando fronteiras
André Ponce de Leon de Carvalho

Exercício Dada a rede abaixo, que recebe como entrada um vetor binário de n bits e gera como saída um valor binário: a) Indicar a função implementada pela rede abaixo: b) Explicar papel de cada neurônio no processamento da função Bias (-viés) +1 -0.5 -1 Considerar função de ativação limiar (threshold) entrada/saída binária n André Ponce de Leon de Carvalho

Exercício Paridade Uma das limitações do Perceptron levantadas por Minsky e Papert Problema difícil Padrões mais semelhantes requerem respostas diferentes Usa n unidades intermediárias para detectar paridade em vetores com n bits André Ponce de Leon de Carvalho

MLPs como classificadores
Classe A Classe B Classe A Classe B Classe A Classe B André Ponce de Leon de Carvalho

Combinações de regiões convexas
Encontrar fronteiras de decisão que separem os dados abaixo: André Ponce de Leon de Carvalho

Exercício Quantas camadas e pelo menos quantos nodos em cada camada possui a rede que divide o espaço de entradas das formas abaixo: classe 1 classe 1 classe 2 classe 2 André Ponce de Leon de Carvalho

Variações do backpropagation
Momentum Quickprop Newton Levenberg Marquardt Super Self-Adjusting Backpropagation (superSAB) Métodos de gradiente conjugado André Ponce de Leon de Carvalho

Backpropagation Momentum
Treinamento Supervisionado wij(t)= wij(t-1) + Dwij + momentum Momentum = (wij(t-1) - wij(t-2)) Aceleração André Ponce de Leon de Carvalho

Deep Networks Redes neurais em geral têm 1 ou 2 camadas intermediárias Mais camadas levam a soluções pobres Complexidade em teoria de circuitos Sugere que arquiteturas produndas podem ser muito mais eficientes Quando tarefa é complexa e existem dados suficientes para capturar essa complexidade Necessidade de algoritmos apropriados André Ponce de Leon de Carvalho

Deep Networks Abordagens para treinamento
Adicionar camadas construtivamente Cada camada transforma entrada da camada anterior Torna tarefa de aprendizado cada vez mais fácil Utilizar aprendizado não suprevisionado para cada camada Treinar a rede toda de uma vez

Outras redes Adaline RBF SOM GNG ART TDNN SVM ? André Ponce de Leon de Carvalho

Máquinas de Vetores de Suporte (SVMs)
28/04/2017 Máquinas de Vetores de Suporte (SVMs) Baseadas na Teoria do Aprendizado Estatístico Vapnik e Chervonenkis em 1968 Estratégia básica Encontrar um hiperplano que maximize margem de separação (margem larga) Distância a um conjunto de “vetores de suporte” Reduz erro de generalização Minimização do risco estrutural 28/04/2017 André de Carvalho - ICMC/USP

28/04/2017 Máquinas de Vetores de Suporte (SVMs) Rede Neural SVMs  28/04/2017 André de Carvalho - ICMC/USP

28/04/2017 Máquinas de Vetores de Suporte (SVMs) Vetores de suporte “os pontos críticos” w Hiperplano separador ótimo Margem máxima 28/04/2017 André de Carvalho - ICMC/USP

Variáveis de folga Slack variables André Ponce de Leon de Carvalho

28/04/2017 Máquinas de Vetores de Suporte (SVMs) Problemas lineares Generalização para problemas não lineares Mapeamento de dados de entrada para um espaço de maior dimensão utilizando funções kernel Kernel 28/04/2017 André de Carvalho - ICMC/USP

28/04/2017 Conclusão Técnicas geométricas baseadas em otimização Redes Neurais Sistema nervoso Muito utilizadas em problemas reais Várias arquiteturas e algoritmos Perceptron e MLP Magia negra Caixa preta SVMs André Ponce de Leon de Carvalho

28/04/2017 Perguntas André Ponce de Leon de Carvalho

Inteligência Artificial

Apresentações semelhantes

Apresentação em tema: "Inteligência Artificial"— Transcrição da apresentação:

Apresentações semelhantes

Sobre projeto

Feedback

Login

Autorizar-se através da rede social:

Inteligência Artificial

Apresentações semelhantes

Apresentação em tema: "Inteligência Artificial"— Transcrição da apresentação:

Apresentações semelhantes

Sobre projeto

Feedback