A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Ajuste de Dados através do Uso de Modelos Lineares Prof. Júlio Cesar Nievola PPGIA - PUCPR.

Apresentações semelhantes


Apresentação em tema: "Ajuste de Dados através do Uso de Modelos Lineares Prof. Júlio Cesar Nievola PPGIA - PUCPR."— Transcrição da apresentação:

1 Ajuste de Dados através do Uso de Modelos Lineares Prof. Júlio Cesar Nievola PPGIA - PUCPR

2 Prof. Júlio Cesar Nievola2 Construção de Modelo Experimental §Ajuste de dados é uma das ciências experimentais mais antigas §Vantagens de um modelo matemático: l Habilidade de compreender, explicar, prever e controlar a saída do sistema §Principal vantagem: capacidade de prever o comportamento futuro e controlá-lo através da aplicação de entradas apropriadas

3 PPGIA - PUCPRProf. Júlio Cesar Nievola3 Sistemas Naturais e Modelos Formais Sistema Natural Observável Modelo Formal Prever Decodificar Medidas Mundo Natural Mundo Matemático

4 PPGIA - PUCPRProf. Júlio Cesar Nievola4 Coleta de Dados §Deve ser cuidadosamente planejada §Principais pontos a serem observados: l Os dados devem ser suficientes l Os dados devem capturar as características principais do problema a ser tratado l Os dados devem ser tão limpos quanto possível

5 PPGIA - PUCPRProf. Júlio Cesar Nievola5 Adaline - Regressão Linear §Adaline - Adaptive Linear Element, ou elemento de processamento (PE) §Composto por dois multiplicadores e um somador b w xixi +1 yiyi PE Exemplo 01

6 PPGIA - PUCPRProf. Júlio Cesar Nievola6 Mínimos Quadrados §Uma reta ajusta perfeitamente duas observações §Qual a melhor escolha de (w, b) tal que uma reta passe mais próxima de vários pontos? §Mínimos Quadrados: reta em que a soma do quadrado dos desvios (resíduos) na direção d é minimizada §Mínimos Quadrados: regressão linear

7 PPGIA - PUCPRProf. Júlio Cesar Nievola7 Determinação dos Parâmetros (1) §A média da soma dos erros ao quadrado, denominado J (também chamado de MSE), que é um dos critérios mais usados, é dado por: onde N é o número de observações Exemplo 02

8 PPGIA - PUCPRProf. Júlio Cesar Nievola8 Determinação dos Parâmetros (2) §Para minimizar J, usando Gauss, igualam-se as derivadas parciais a zero e resolve-se as equações, ou seja: §Obtém-se então: e Exemplo 03

9 PPGIA - PUCPRProf. Júlio Cesar Nievola9 Coeficiente de Correlação §Por definição, o coeficiente de correlação entre duas variáveis aleatórias x e d é §O numerador é a covariância das duas variáveis e o denominador é o produto dos correspondentes desvio padrão

10 PPGIA - PUCPRProf. Júlio Cesar Nievola10 Método dos Mínimos Quadrados §Interpretação da solução estimada dos mínimos quadrados: o erro é ortogonal à entrada §Mínimos quadados: bastante potente §Pode ser generalizado para curvas polinomiais de ordem superior, tal como quadráticas, cúbicas etc., dando origem aos mínimos quadrados generalizados

11 PPGIA - PUCPRProf. Júlio Cesar Nievola11 Mínimos Quadrados como Busca de Parâmetros de um Sistema §Objetivo: encontrar os parâmetros (b,w) que minimizam a diferença entre a saída y i do sistema e a resposta desejada d i. y x b y=wx+b d1d1 d2d2 didi x1x1 x2x2 xixi Alterar parâmetros + xixi yiyi didi (b,w)(b,w) - i

12 PPGIA - PUCPRProf. Júlio Cesar Nievola12 Proejto de um Sistema Supervisionado Adaptativo §Elementos l Sistema (linear) com parâmetros adaptativos l Resposta desejada ou objetivo d l Critério de otimalidade (MSE) a ser minimizado l Método para calcular os parâmetros ótimos §O objetivo é encontrar uma forma alternativa de calcular os parâmetros usando um procedimento de busca

13 PPGIA - PUCPRProf. Júlio Cesar Nievola13 Análise do Erro no Espaço de Parâmetros §J(w) é chamada de superfície de desempenho. Para b=0: J w J min w* Superfície de desempenho Exemplo 04

14 PPGIA - PUCPRProf. Júlio Cesar Nievola14 Gradiente da Superfície de Desempenho §O gradiente de J é um vetor que sempre aponta na direção da máxima alteração de J com magnitude igual à inclinação da tangente à superfície de desempenho §No ponto inferior (vértice), o gradiente é zero w* w J min Superfície de desempenho w0w0 w 0 - w w 0 + w Magnitude do gradiente

15 PPGIA - PUCPRProf. Júlio Cesar Nievola15 Superfície de Performance - Notas §O valor mínimo do erro (J min ) depende tanto da sinal de entrada (x i ) quanto do sinal desejado (d i ) §A posição no espaço de coeficientes onde o mínimo w* ocorre também depende tanto de x i quanto de d i §O formato da superfície de desempenho depende somente do sinal de entrada x i Exemplo 05

16 PPGIA - PUCPRProf. Júlio Cesar Nievola16 Busca usando Descida mais inclinada §Busca eficiente do mínimo usando vários métodos baseados na informação do gradiente §Vantagens da busca: l Computação local l O gradiente sempre indica a direção de máxima alteração §Para o cálculo dos pesos em uma nova posição: §onde é uma pequena constante e J(k) indica o gradiente da superfície de desempenho na iteração k

17 PPGIA - PUCPRProf. Júlio Cesar Nievola17 Busca usando a informação do gradiente w J min w* Superfície de desempenho w(0)......w(1) Vetor Gradiente

18 PPGIA - PUCPRProf. Júlio Cesar Nievola18 Estimativa do Gradiente: Algoritmo LMS §Um sistema adaptativo pode usar a informação do gradiente para otimizar os parâmetros §Em 1960 Widrow propôs o uso do valor instantâneo como estimativa do valor do gradiente:

19 PPGIA - PUCPRProf. Júlio Cesar Nievola19 Algoritmo LMS §Usando a idéia de Widrow tem-se o algoritmo LMS, no qual o gradiente é estimado usando uma multiplicação por peso §A equação da descida (ou LMS) torna-se onde a constante é chamada de tamanho do passo ou constante de aprendizagem Exemplo 06

20 PPGIA - PUCPRProf. Júlio Cesar Nievola20 Aprendizagem On-line e Batch §Aprendizagem on-line ou exemplo por exemplo: atualização dos pesos após o cálculo para cada entrada §Aprendizagem batch: armazenam-se as atualizações dos pesos durante uma época e no final da mesma atualizam-se os mesmos §O algoritmo batch é ligeiramente mais eficiente em termos do número de cálculos Exemplo 07

21 PPGIA - PUCPRProf. Júlio Cesar Nievola21 Robustez e avaliação do treinamento §O algoritmo LMS é robusto: sempre converge para o mesmo valor, independentemente dos pesos iniciais §Após o treinamento, os pesos são fixados para uso §Precisa-se do coeficiente de correlação r e do MSE para testar os resultados: l r informa é um indicador do resultado da modelagem, dizendo o quanto da variância de d foi capturado pela regressão linear, mas não indica a média l o MSE indica a ordem de grandeza Exemplo 08 Exemplo 09

22 PPGIA - PUCPRProf. Júlio Cesar Nievola22 Adaptação Estável §O algoritmo LMS tem um parâmetro livre,, que deve ser selecionado pelo usuário §O gráfico do MSE ao longo das iterações é chamado de curva de aprendizagem e é uma boa forma de monitorar a convergência do processo §A taxa de decréscimo do erro depende do valor do tamanho do passo §Busca-se uma forma de encontrar o maior tamanho de passo possível que garanta convergência Exemplo 10

23 PPGIA - PUCPRProf. Júlio Cesar Nievola23 Curva de Aprendizagem e Gráfico dos Pesos ao longo das iterações Exemplo 11

24 PPGIA - PUCPRProf. Júlio Cesar Nievola24 Tamanho máximo do passo para convergência §Convergência rápida, mas sem sistema instável: §Na atualização batch, usa-se o passo normalizado: §No algoritmo LMS é comum incluir um fator de segurança 10 no máximo ( máx ) ou usar o treinamento em batch, o qual reduz o ruído na estimativa do gradiente

25 PPGIA - PUCPRProf. Júlio Cesar Nievola25 Constantes de tempo §A envoltória da progressão geométrica dos valores dos pesos pode ser aproximado por uma exponencial com decréscimo dado pela constante de tempo de adaptação dos pesos : §Em termos práticos, o processo iterativo converge após 4 constantes de tempo §A constante de tempo da adaptação mse é: Exemplo 12

26 PPGIA - PUCPRProf. Júlio Cesar Nievola26 Estabilidade §Na busca em pontos próximos ao mínimo: l o gradiente é pequeno mas não zero l o processo continua a se movimentar na vizinhança do mínimo, sem estabilizar §Rattling: é proporcional ao tamanho do passo §Nos mecanismos de busca com descida do gradiente há um compromisso entre a precisão da solução final e a velocidade de convergência

27 PPGIA - PUCPRProf. Júlio Cesar Nievola27 Rattling no procedimento iterativo Exemplo 13

28 PPGIA - PUCPRProf. Júlio Cesar Nievola28 Escalonamento do tamanho dos passos §Forma simples de diminuir o rattling: l constante de aprendizagem grande no começo do processo para rápida convergência l pequena constante de aprendizagem no final do processo para obter boa exatidão §Escalonamento da taxa de aprendizagem: §O valor de precisa ser determinado experimentalmente Exemplo 14

29 PPGIA - PUCPRProf. Júlio Cesar Nievola29 Regressão para várias variáveis §Considere-se que d é uma função de várias entradas x 1, x 2,..., x D (variáveis independentes) e o objetivo é encontrar a melhor regressão linear de d em relação a todas as entradas §Assume-se que as medidas x são livres de ruído e d é contaminado por um vetor de ruídos com as propriedades: l distribuição Gaussiana com componentes com média zero l variâncias 2 igual l não correlacionada com as entradas

30 PPGIA - PUCPRProf. Júlio Cesar Nievola30.. Várias variáveis +. x 1i x 2i x Di +1 w1w1 w2w2 wDwD b didi i yiyi Sistema de Regressão

31 PPGIA - PUCPRProf. Júlio Cesar Nievola31 Regressão para várias variáveis (1) §A equação para regressão com várias variáveis é §Neste caso o MSE é §A solução para esta equação (ponto de mínimo) é obtida igualando a zero as derivadas de J com relação às variáveis desconhecidas w k §Com isto, tem-se um conjunto de D+1 equações com D+1 variáveis, chamado equações normais (conforme a seguir)

32 PPGIA - PUCPRProf. Júlio Cesar Nievola32 Regressão para várias variáveis (2) §Estas equações podem ser escritas em notação matricial. Para tanto, define-se Rkj é a auto-correlação das amostras de entrada para os índices k e j, a qual mede a similaridade entre exemplos do conjunto de treinamento §Tem-se então a matriz de auto-correlação

33 PPGIA - PUCPRProf. Júlio Cesar Nievola33 Regressão para várias variáveis (3) §Considere-se como sendo a correlação cruzada da entrada x para índice j e a resposta desejada d. A partir da mesma cria-se o vetor p de dimensão D+1. Portanto, §O coeficiente de correlação múltipla mede a quantidade de variação explicada pela regressão linear, normalizada pela variância de d Exemplo 15

34 PPGIA - PUCPRProf. Júlio Cesar Nievola34 Superfície de desempenho para duas dimensões e gráfico de contorno

35 PPGIA - PUCPRProf. Júlio Cesar Nievola35 Visão do Procedimento de Busca §A superfície de desempenho em várias dimensões de J torna-o um parabolóide apontando para cima em D+1 dimensões: §Os coeficientes que minimizam a solução são §A auto-correlação das entradas R especifica de forma completa a superfície de desempenho §A localização da superfície de desempenho no espaço de pesos e o seu valor mínimo dependem a auto-correlação das entradas e da resposta desejada Exemplo 16

36 PPGIA - PUCPRProf. Júlio Cesar Nievola36 Gráfico de contornos da superfície de desempenho com dois pesos w1*w1* Direção do maior autovetor de R w2w2 w1w1 w2*w2* Direção do menor autovetor de R Gráficos de contorno de J Inverso da diferença é o maior autovalor de R Inverso da diferença é o menor autovalor de R

37 PPGIA - PUCPRProf. Júlio Cesar Nievola37 Descida mais inclinada no caso de vários pesos §Neste caso o gradiente é um vetor com D+1 componentes §Portanto, §Ou seja, §Os pesos convergem com diferentes constantes de tempo, cada uma ligada a um autovalor de R

38 PPGIA - PUCPRProf. Júlio Cesar Nievola38 Controle do tamanho do passo §O conjunto de valores assumidos pelos pesos é chamado trilha dos pesos e se movem em direção oposta ao gradiente em cada ponto §O pior caso para garantir a convergência ao ótimo w* em todas as direções é §O tamanho do passo deve ser menor que o inverso do maior autovalor da matriz de auto- correlação, a fim de que não haja divergência

39 PPGIA - PUCPRProf. Júlio Cesar Nievola39 Trilha dos pesos em direção ao mínimo w1w1 w2w2 w2*w2* w 1 (1)w1*w1*w 1 (0) w 2 (1) w 1 (0) Gradientes w(1) w(0) w2w2 w1w1 w2*w2* w 2 (1) w 1 (0) w 1 (1)w1*w1*w 1 (0) w(1) w(0) Gradientes Autovalores iguais: Autovalores diferentes:

40 PPGIA - PUCPRProf. Júlio Cesar Nievola40 Constante de tempo da adaptação §A constante de tempo da adaptação é dada por §Se a razão entre o maior e o menor autovalor for grande, a convergência será lenta §A curva de aprendizagem se aproxima de J min em uma progressão geométrica §Há várias constantes de tempo da adaptação (caso os autovalores sejam diferentes), sendo uma para cada direção Exemplo 17

41 PPGIA - PUCPRProf. Júlio Cesar Nievola41 Algoritmo LMS com vários pesos §O algoritmo LMS com vários pesos torna-se §Para a abordagem com bias: l amplia-se a matriz de entrada com uma coluna extra com 1s; ou l modificam-se as entradas e saídas para que tenham variáveis com valor médio igual a zero §Selecionar para produzir 10% de erro significa uma duração de treinamento em iterações igual a 10 vezes o número de entradas Exemplo 18 Exemplo 19

42 PPGIA - PUCPRProf. Júlio Cesar Nievola42 Método de Newton (1) §A equação adaptativa dos pesos usando o método de Newton §Método de Newton corrige a direção de busca de tal forma que ela sempre aponta para o mínimo §O método de Newton é mais rápido que LMS quando a matriz de correlação dos dados de entrada tem uma grande faixa de autovalores §O cálculo da inversa da matriz de auto-correlação, é mais demorado que LMS e necessita de informação global §Se a superfície não for quadrática o método diverge

43 PPGIA - PUCPRProf. Júlio Cesar Nievola43 Método de Newton (2) w2w2 w1w1 w2*w2* w1*w1*. Método de Newton Descida do gradiente Exemplo 20

44 PPGIA - PUCPRProf. Júlio Cesar Nievola44 Solução Analítica x Iterativa §Analítica l Se R é mal-condicionada, a inversa não é precisa l Tempo para cálculo da inversa é O(D 2 ) §Iterativa l não há garantia da proximidade de w* l grande faixa de autovalores causa lenta convergência §Vantagens da abordagem iterativa l há algoritmos muito eficientes para estimar o gradiente l ordem de complexidade O(D) l o método pode ser estendido para sistemas não-lineares


Carregar ppt "Ajuste de Dados através do Uso de Modelos Lineares Prof. Júlio Cesar Nievola PPGIA - PUCPR."

Apresentações semelhantes


Anúncios Google