Redes Neurais Artificiais (RNA): Aprendizado

Apresentação em tema: "Redes Neurais Artificiais (RNA): Aprendizado"— Transcrição da apresentação:

1 Redes Neurais Artificiais (RNA): Aprendizado
Disciplina: Inteligência Artificial CONTEÚDO (1) Aprendizado (2) Aprendizado Supervisionado (2.1) Aprendizado por Reforço (3) Aprendizado Não-Supervisionado (3.1) Aprendizado Competitivo (3.2) Aprendizado Hebbiano (3.3) Modelo de Linsker (3.4) Regra de Oja

2 RNAs aprendem por exemplos
(1) Aprendizado RNAs aprendem por exemplos Determinação da intensidade de conexões entre neurônios Algoritmo de aprendizado: Conjunto de procedimentos bem definidos para adaptar os parâmetros de uma RNA, para que ela possa aprender. Conjunto de ferramentas com diversos algoritmos, cada qual com suas vantagens e desvantagens.

3 Inicialmente, a RNA passa pela fase de aprendizado
Extrai informações de exemplos apresentados a rede; Cria-se uma representação própria para o problema. Aprendizado: Ajuste de parâmetros (pesos); Guarda o conhecimento que a rede adquiriu do ambiente.

4 (1) Aprendizado - Definição
“Aprendizagem é o processo pelo qual os parâmetros de uma rede neural são ajustados através de uma forma continuada de estímulo pelo ambiente no qual a rede está operando, sendo o tipo específico de aprendizagem realizada definido pela maneira particular como ocorrem os ajustes realizados nos parâmetros.”

5 (1) Aprendizado Tipos de aprendizado: Outros tipos: Supervisionado;
Não-Supervisionado. Outros tipos: Por Reforço (supervisionado); Por Competição (não-supervisionado).

6 (2) Aprendizado Supervisionado
O método mais comum de treinamento de RNAs A entrada e saída da rede são fornecidas por um supervisor (professor) externo; Ajusta-se os parâmetros da rede, encontrando alguma ligação entre os pares de entrada e saída; O professor indica um comportamento bom ou ruim da rede.

7 (2) Aprendizado Supervisionado
Professor RNA ∑ Erro Saída Entrada + - A rede tem uma resposta (saída) que é comparada com a saída desejada, recebendo informações do supervisor sobre o erro da resposta atual.

8 (2) Aprendizado Supervisionado
Os pesos da rede, a cada iteração, são ajustados com o intuito de minimizar o erro. A desvantagem: Na ausência de professor, a rede não aprende novas estratégias; Algoritmos conhecidos: Regra Delta, Backpropagation

9 (2) Aprendizado Supervisionado
Pode ser implementado de duas formas: off-line e on-line. Off-line: Os dados do conjunto de treinamento não mudam, sendo a solução obtida, fixa. Se novos dados são adicionados, um novo treinamento deve ser realizado. On-line: Os dados mudam continuamente e a rede está em contínuo processo de adaptação.

10 (2) Aprendizado Supervisionado: Correção de Erros
Tenta minimizar a diferença entre a soma ponderada das entradas pelos pesos (saída calculada) e saída desejada. A fórmula para alteração dos pesos por correção de erros é dado por: η é a taxa de aprendizado e(t) = d(t) – y(t) wi(t+1) = wi(t) + ηe(t)xi(t) w

11 (2.1) Aprendizado por reforço
Caso particular de aprendizado supervisionado; A diferença é a medida de desempenho adotada; Aqui, qualquer medida que possa ser fornecida ao sistema; Ao contrário da comparação entre as saídas gerando um erro.

12 (2.1) Aprendizado por reforço
A única informação de realimentação é se uma determinada saída está ou não correta; Muitas vezes chamado de aprendizado por crítica. Crítico RNA Reforço/Penalidade Ação

13 (2.1) Aprendizado por reforço
É uma forma de aprendizado on-line; Mapeamento entrada-saída; Processo de triagem (escolha de alguns padrões) e erro, maximizando o índice de desempenho – sinal de reforço; Verificando como a rede se comporta para determinadas entradas;

14 (2.1) Aprendizado por reforço
Aprendizado por reforço pode ser: Aprendizado associativo: O meio fornece outras informações além do reforço (estímulos). Mapeamento estímulo-ação deve ser aprendido (fazendo x vai obter y); Aprendizado não-associativo: O sinal de reforço é a única entrada. Seleciona uma única ação ótima;

15 (3) Aprendizado não-supervisionado
Não há professor ou supervisor; Estágios iniciais da visão e audição humana; Temos apenas os padrões de entrada; Codifica características da entrada; Só é possível com redundância dos dados; Ex: separar laranjas de maças (tamanho, formato) Estado do meio externo Meio Externo RNA Resposta

16 (3) Aprendizado não-supervisionado
A estrutura da rede pode adquirir várias formas: Camada de entrada, saída, conexões feedfoward (entrada e saída) e conexões laterais entre os neurônios da camada de saída; Ligações feedfoward de múltiplas camadas; Aprendizado: Modificar repetidamente os pesos de todas as conexões;

17 (3.1) Aprendizado por competição
Caso particular de aprendizado não-supervisionado; Dado um padrão de entrada, fazer as unidades de saída disputarem entre si para serem ativadas; Saída ativada terá os seus pesos atualizados no treinamento; A saída com maior ativação inicial, terá maior chance de vencer a disputa.

18 (3.1) Aprendizado por competição
A unidade mais forte, fica cada vez mais forte; Com o tempo, todas ficaram inibidas, exceto a vencedora; Algoritmo simples: Apresentar um vetor de entrada; Calcula a ativação inicial de cada saída; Deixá-las competir, até que apenas 1 fique ativa; Aumentar o peso entre a saída ativa e entrada ativa;

19 (3.1) Aprendizado por competição
Desvantagem: Saída torna-se dominante, captando para si o espaço de entradas; Solução: Racionar os pesos – Soma dos pesos não deve ser maior que 1; Aumentar o peso de alguém é diminuir o peso de outro; M – número de entradas ativas no vetor Δwj = ηxj/M - ηwj

20 (3.2) Aprendizado hebbiano
Resultados de Hebb motivaram os primeiros métodos de aprendizado em RNAs; Peso deve ser ajustado se houver sincronismo entre os “níveis de atividade” das entradas e saídas; Se 2 neurônios entre uma sinapse são ativados sincronamente, temos o fortalecimento da sinapse, caso contrário, o enfraquecimento;

21 (3.2) Aprendizado hebbiano
Resumo: Se o neurônio pré-sináptico tiver grande influência na ativação do pós-sináptico, a conexão deve ser reforçada;

22 (3.2) Aprendizado hebbiano
Modificação do peso sináptico: Onde η é a taxa de aprendizagem Vetores de entrada e saída são fornecidos; O treinamento é feito independentemente da resposta da rede; Sem professor ou supervisor Δwij(t) = ηyi(t)xj(t)

23 Modelar os primeiros estágios do modelo visual dos mamíferos;
(3.3) Modelo de Linsker Modelar os primeiros estágios do modelo visual dos mamíferos; Baseado na abordagem de Hebb Camada A Camada B Camada C Entrada

24 (3.3) Modelo de Linsker Função de Ativação: yj(t) = a1 + ∑ xi(t)wji(t)
O treinamento é feito camada a camada; Entrada: Padrões gerados aleatoriamente; As camadas atualizam os seus pesos utilizando uma regra hebbiana; yj(t) = a1 + ∑ xi(t)wji(t) i=1 n

25 (3.3) Modelo de Linsker Os novos pesos, para cada padrão de entrada, é definido de acordo com os valores das entradas e saídas produzidas; Para evitar que os pesos assumam um valor muito alto, é utilizado uma constante de saturação: Valor máximo (+w) e mínimo (-w). Δwji(t) = a2xi(t)yj(t) + a3xi(t) + a4yj(t) + a5

26 Porém, não é necessário usar normalização
(3.4) Regra de Oja Solução inicial: normalizar todo os pesos através de uma constante Porém, não é necessário usar normalização Basta usar a Regra de Oja: Algoritmo que garante a convergência da rede; Δwi = ηy(xi - ywi)

27 (4) Reconhecendo um T e H com Perceptron
Uma representação simples Uma representação real