Memória Associativa Linear

Apresentação em tema: "Memória Associativa Linear"— Transcrição da apresentação:

1 Memória Associativa Linear
Ruy Luiz Milidiú

2 Regressão Linear Objetivo
Examinar o modelo de memória associativa linear, suas vantagens e limitações Sumário Memória linear simples Memória linear múltipla Múltiplas memórias lineares múltiplas Cross-Validation

3 Memória linear simples
Exemplos (x1, y1), (x2, y2), … , (xn, yn) xi real, yi real Neurônio Linear ŷ = w0 + w1. x w0 , w1 = ? Desempenho E  Erro = (ŷ1 – y1)2 + … + (ŷn – yn)2

4 Exemplo

5 Exemplo

6 Aprendizado Supervisionado
Minimizar Erro … E(w0,w1) = (ŷ1 – y1)2 + … + (ŷn – yn)2 E(w0,w1) =  (w0+w1.xi – yi)2 Diferenciando… 2.(w0+w1.x1 – y1)+ … +2.(w0+w1.xn – yn) = 0 2.x1.(w0+w1.x1 – y1)+ … +2.xn.(w0+w1.xn – yn) = 0

7 Equações Normais Sistema de equações lineares…
(w0+w1.x1 – y1) + … + (w0+w1.xn – yn) = 0 x1.(w0+w1.x1 – y1)+ … +xn.(w0+w1.xn – yn) = 0 n.w0 + (x1+ … +xn).w1 = y1+ … +yn (x1+ … +xn).w0 + (x12+ … +xn2).w1 = x1.y1+ … +xn.yn

8 Equações Normais Solução por substituição…
w0 = (y1+ … +yn )/n - [(x1+ … +xn)/n].w1 (x1+ … +xn).{(y1+ … +yn )/n - [(x1+ … +xn)/n].w1} + (x12+ … +xn2).w1 = x1.y1+ … +xn.yn w1 = A / B A = x1.y1+ … +xn.yn - (x1+ … +xn).(y1+ … +yn )/n B = (x12+ … +xn2) - (x1+ … +xn).(x1+ … +xn)/n w0 = (y1+ … +yn )/n - [(x1+ … +xn)/n].(A/B)

9 Equações Normais n xi w yi xi xi2 w xi.yi =

10 Memória linear múltipla
Exemplos (x1, y1), (x2, y2), … , (xn, yn) xi  Rk, yi real Neurônio Linear ŷ = wT. x w = ? Desempenho E  Erro = (ŷ1 – y1)2 + … + (ŷn – yn)2

11 Aprendizado Supervisionado
E(w) =  (wT.xi – yi)2 E(w) = vT.v onde vi = wT.xi – yi = xiT.w – yi E(w) =∑i (xiT.w – yi)T.(xiT.w – yi) E(w) =∑i yi2 – 2 ∑i yi.xiT.w + wT.∑i xi.xiT.w X = [x1,…,xn] E(w) = yT.y – 2.(Xy)T.w + wT.XXTw ∂E/∂w = 2.XXTw – 2.Xy = 0

12 Aprendizado Supervisionado
XXTw = Xy Eq. Normal w = (XXT)-1Xy

13 [X(n)X(n)T]-1 = [X(n-1)X(n-1)T + xn.xnT]-1
Adaptação Rápida w = (XXT)-1Xy X(n) = [x1,…,xn] X(n)X(n)T = [x1,…,xn] . [x1,…,xn]T X(n)X(n)T =  xi.xiT X(n)X(n)T = X(n-1)X(n-1)T + xn.xnT [X(n)X(n)T]-1 = [X(n-1)X(n-1)T + xn.xnT]-1

14 Inversa Incremental (A + x.xT)-1 = ? AT = A
A + x.xT = (I + x.xT.A-1).A (I + x.xT.A-1)-1 = ? (I + x.vT)-1 = ? onde v = A-1x (I + U)-1 = I - U + U2 - U3 + … (x.vT)2 = c.x.vT onde c = vT.x (x.vT)r =cr-1.x.vT r=1,2,… (I + x.vT)-1 = I - (1+c)-1.x.vT

15 (A + x.xT)-1 = A-1 - (1+c)-1.v.vT)
Inversa Incremental (A + x.xT)-1 = A-1 - (1+c)-1.v.vT) onde v = A-1x c = vT.x

16 Adaptação Rápida X(n) = [x1,…,xn] = [X(n-1) ,xn]
w = (XXT)-1Xy X(n) = [x1,…,xn] = [X(n-1) ,xn] X(n)X(n)T = .I +  xi.xiT   0 X(n)X(n)T = A + xn.xnT vn = A-1.xn w(n) = {A-1 - (1+xnT.vn)-1.vn.vnT}.(X(n-1)y(n-1)+yn.xn) A-1.X(n-1)y(n-1) = w(n-1) A-1.yn.xn = yn.vn vnT.X(n-1)y(n-1) = xnT.A-1.X(n-1)y(n-1) = xnT.w(n-1) vnT.yn.xn = yn.xnT.vn

17 Adaptação Rápida XXT = [x1,…,xn] . [x1,…,xn]T
w = (XXT)-1Xy XXT = [x1,…,xn] . [x1,…,xn]T XXT = .I +  xi.xiT   0 XXT = A + xn.xnT vn = A-1.xn w(n) = w(n-1) + (yn-w(n-1)T.xn).(1+xnT.vn)-1.vn

18 w  w + (yn-wT.xn).(1+xnT.vn)-1.vn
Adaptação Rápida w = (XXT)-1Xy XXT = [x1,…,xn] . [x1,…,xn]T XXT = .I +  xi.xiT   0 XXT = A + xn.xnT vn = A-1.xn w  w + (yn-wT.xn).(1+xnT.vn)-1.vn

19 wn = wn-1 + .(yn-wn-1T.xn).xn
Adaptação Lenta E(w) =  (wT.xi – yi)2 E(n)(w) = E(n-1)(w) + (wT.xn – yn)2 ∂E(n)/∂w = ∂E(n-1)/∂w + 2.(wT.xn – yn).xn ∂E(n)/∂w  (wn-1T.xn – yn).xn ∂E(n)/∂w  2.(wn-1T.xn – yn).xn wn = wn-1 + .(yn-wn-1T.xn).xn

20 wn = wn-1 + .(yn-wn-1T.xn).xn
ADALINE E(w) =  (wT.xi – yi)2 ADAptive LInear NEuron Adaptação lenta Método do gradiente Aprendizado online por exemplo Aprendizado distribuido vetores wn = wn-1 + .(yn-wn-1T.xn).xn

21 … memórias lineares múltiplas
Exemplos (x1, y1), (x2, y2), … , (xn, yn) xi em Rk, yi em Rs Neurônio Linear ŷ = W.x W = ? Memória Ótima W = Y.XT.(XXT)-1

22 Polynomial Regression

23 Regression with polynomials: fit improves with increased order

24 Over-fitting We want to fit the training set, but as model complexity increases, we run the risk of over-fitting. Train set Leave out When the model order is over-fitting, leaving a single data point out of the training set can drastically change the fit.

25 Cross-Validation We want to fit the training set, but we want to also generalize correctly. To measure generalization, we leave out a data point (named the test point), fit the data, and then measure error on the test point. The average error over all possible test points is the cross validation error. Weights estimated from a training set that does not include the i-th data point

26 Model Selection Mean-squared error (training set) Cross-validation error Model order Model order (actual data was generated with a 2nd order polynomial process) Cross-validation error Model order