1 Análise de regressão linear simples: abordagem matricial Álgebra de matrizes é amplamente utilizada na estatística. É praticamente uma necessidade na.

Apresentação em tema: "1 Análise de regressão linear simples: abordagem matricial Álgebra de matrizes é amplamente utilizada na estatística. É praticamente uma necessidade na."— Transcrição da apresentação:

1 1 Análise de regressão linear simples: abordagem matricial Álgebra de matrizes é amplamente utilizada na estatística. É praticamente uma necessidade na regressão linear múltipla, pois permite que grandes sistemas de equações e conjunto de dados sejam representados de forma compacta e operacional. Matrizes Matriz: um conjunto de elementos arranjados em linhas e colunas. Exemplo: Linha 1 Linha 2 Linha 3 Coluna 1Coluna 2 (Dimensão: 3 x 2) Linhas Colunas A = (3 x 2) i=1,2,3 (linhas) j=1,2 (colunas) Representada por letras em negrito, p.e., A, B, C, , , , , etc.

2 2 Matriz quadrada: Vetor: Vetor linha ou transposto: Matriz transposta (A ’ ): Igualdade de matrizes: mesma dimensão e todos os correspondentes elementos são iguais. a=b implica: Número de linhas = número de colunas. Contém apenas uma coluna. Também são representados por letras minúsculas em negrito.

3 3 Aplicação na regressão: O vetor y consiste de n observações da variável resposta: Matriz X de delineamento:O vetor dos parâmetros:

4 4 Adição e subtração de matrizes: Aplicação na regressão: Temos o modelo de regressão, para a i-ésima observação: Este modelo pode ser escrito em forma matricial. Matrizes de mesma dimensão

5 5 Vamos definir os vetores de respostas médias e de resíduos: Assim, o modelo de regressão escrito na forma matricial, fica: Multiplicação de matrizes: Por escalar :

6 6 Multiplicação de matriz por matriz: Nota: geralmente AB  BA. Aplicação na regressão: Exercício: faça a multiplicação das matrizes:

7 7 Importante:

8 8 Tipos especiais de matrizes Matriz simétrica: se A=A ’ ela é dita simétrica. Exemplo: Portanto, o modelo na forma matricial fica:

9 9 Um caso importante de matriz simétrica na regressão é: Matriz diagonal: é uma matriz quadrada, cujos elementos fora da diagonal são todos iguais a zero, por exemplo, Dois tipos importantes de matrizes diagonal são: matriz identidade e matriz escalar. Matriz identidade (I): é uma matriz diagonal cujos elementos da diagonal são todos iguais a um (1). Pré multiplicando (ou pós multiplicando) qualquer matriz A (r x r), pela identidade, a matriz A fica inalterada. Para uma matriz A de dimensão (r x r), temos:

10 10 Matriz escalar: é uma matriz diagonal cujos elementos da diagonal são todos iguais. Pode ser dada por I: Vetores e matrizes com todos os elementos iguais a um (1)

11 11 Operações importantes: Dependência linear e posto de uma matriz Dependência linear

12 12 Considere a matriz: Observe que a terceira coluna é um múltiplo da primeira coluna: Portanto, as colunas da matriz A, são linearmente dependentes. Elas contém informações redundantes (supérfluas), pois uma coluna pode ser obtida como uma combinação linear das outras. Considere c vetores colunas de uma matriz (r x c) : c 1, c 2,...,c c.De modo geral, define-se dependência linear como: quando c escalares 1,..., c, nem todos iguais a zero, podem ser determinados tal que:  Os c vetores colunas são linearmente dependentes

13 13 Se o único conjunto de escalares, para o qual a igualdade vale (=0) é:  Os c vetores colunas são linearmente independentes Exemplo: considere os escalares: 1 =5, 2 =0, 3 =-1e 4 =0, assim temos: Portanto, as colunas são linearmente dependentes. Observe que alguns ’ s são iguais a zero. Posto (rank) de uma matriz O posto de uma matriz é definida como sendo o número máximo de colunas (linhas) linearmente independentes. No exemplo acima, encontramos 3 colunas (1,2 e 4) linearmente independentes. Não existem escalares 1, 2 e 4 tal que 1 C 1 + 2 C 2 + 4 C 4 =0 a não ser estes: 1 =0, 2 =0 e 4 =0. Assim, o posto de A é 3.

14 14 Segue-se que o posto de uma matriz (r x c) não pode exceder o min(r,c), isto é, o mínimo entre r e c. No caso de uma matriz, por exemplo, C, que é o resultado do produto de duas outras matrizes (A e B), o rank de C não pode exceder o mínimo entre o rank(A) e o rank(B). (Definição: o rank, posto ou característica de uma matriz, é o número de linhas não nulas na sua forma escalonada canônica). Exercício: seja a matriz Inversa de uma matriz Na álgebra de matrizes, a inversa de uma matriz A (quadrada), é uma outra matriz, denominada por A -1, tal que: Muitas matrizes quadradas não tem inversa. Para aquelas que têm, a inversa é única. encontre o valor do rank de (A). OBS. Matriz de rank incompleto

15 15 Encontrando a inversa. A inversa de uma matriz quadrada (r x r) existe se o rank da matriz é r. Esta matriz é denominada de não singular ou de posto completo.Uma matriz (r x r) com rank menor do que r é denominada de matriz singular ou de posto incompleto e não tem inversa. A inversa de uma matriz (r x r) de rank completo também tem rank r. Usaremos programas estatísticos ou matemáticos para encontrar inversas de matrizes. Por exemplo, para a matriz: a inversa, obtida no PROC IML do SAS, é dada por: A 2 rows 2 cols 2 4 3 1 INVERSA 2 rows 2 cols -0.1 0.4 0.3 -0.2 proc iml; reset print; A={2 4, 3 1}; INVERSA=inv(A); Comandos SAS

16 16 Aplicação na regressão Na análise de regressão, a principal inversa é a de X ’ X: O determinante desta matriz é dada por: Assim, a inversa de X ’ X é dada por: Como: Chega-se a forma simplificada:

17 17 Uso da matriz inversa Se temos uma equação: Assumindo que A tem inversa, podemos pré-multiplicar ambos os lados da igualdade por A -1 : Como A -1 AY=IY=Y, obtemos a solução: Exemplo: suponha o seguinte sistema de equações: Escrevendo na forma matricial temos:

18 18 A solução do sistema de equações é dada por: Matrizes e vetores aleatórios São vetores ou matrizes que contém elementos que são variáveis aleatórias. Por exemplo, o vetor Y é aleatório, pois os elementos Y i são variáveis aleatórias. O valor esperado de um vetor ou matriz aleatória Para um vetor aleatório y, a esperança matemática é: Para uma matriz Y, de dimensão n x p, a esperança matemática é: Valores esperados das v.a.

19 19 Aplicação na regressão: Sabemos que os termos dos erros aleatórios,  i, tem esperança igual a zero,isto é, E(  i )=0. Para o vetor de erros aleatórios, temos: Matriz de variância-covariância de um vetor aleatório A matriz de variância-covariância de um vetor aleatório y, de dimensão n x 1, é:

20 20 Observe que na diagonal temos as variâncias das variáveis aleatórias,  2 (Y i ). Na i- ésima linha e j-ésima coluna da matriz temos as covariâncias,  (Y i,Y j ). Como  (Y i,Y j )=  (Y j,Y i ), para todo i  j,  2 (y) é uma matriz simétrica. Exercício: considere um vetor aleatório y, com três observações Y 1, Y 2 e Y 3. A variância de uma v. a. é definida por,  2 (Y)=E[(Y-E(Y)) 2 ] (Apêndice). A covariância entre Y 1 e Y 2 é definida por:  (Y 1,Y 2 )=E[(Y 1 -E(Y 1 ))(Y 2 -E(Y 2 ))]. Mostre que: Aplicação na regressão Suponha que os erros tenham variância constante,  2 (  i )=  2, e sejam não correlacionados,  (  i,  j )=0 para i  j. A matriz de variância-covariância do vetor de erros é dada por:

21 21 Alguns teoremas básicos Em muitas situações temos um vetor aleatório W, o qual é obtido pré- multiplicando-se o vetor aleatório Y por uma matriz A (com valores fixos): W=AY. Temos os seguintes teoremas: Exercício: considere, Mostre as expressões para E(W) e  2 (W). Análise de regressão linear simples através de matrizes O modelo de regressão linear simples, com erros normais (3) é dado por: ( 9 )

22 22 Já definimos o vetor de observações Y, a matriz de delineamento X, e o vetor de erros aleatórios . O vetor de parâmetros , é definido como: O modelo de regressão linear simples em termos matriciais, fica: Exercício: mostre que aplicando-se as operações matriciais do modelo (10 ) chegamos as observações do modelo ( 9). ( 10 ) Os valores esperados das observações Y i são dados por: E(Y i )=  0 +  1 X i assim,

23 23 A coluna de un ’ s (1’s) na matriz de delineamento X pode ser vista como uma variável dummy X 0  1 no modelo de regressão linear alternativo: No modelo ( 10), o  é um vetor de variáveis aleatórias com distribuição normal, independentes com E(  )=0 e  2 (  )=  2 I. Método de mínimos quadrados para estimação dos parâmetros do modelo Para obter as equações normais pelo método de mínimos quadrados, devemos minimizar o critério: Na forma matricial escrevemos: Fazendo o desenvolvendo temos:

24 24 Como (X  ) ’ =  ’ X ’ e y ’ X  é um escalar, portanto: Para encontrar os valores de  que minimizam Q, devemos diferenciar Q com respeito a  0 e  1, ou seja: Igualando o vetor a zero, dividindo por 2, e substituindo  por b obtemos: Sistema de equações normais Observando-se as equações normais e X’X vemos que sempre que as colunas de X’X são linearmente dependentes, as equações normais também serão linearmente dependentes. Diversas soluções para b 0 e b 1 podem ser obtidas. Felizmente, na regressão, as colunas de X’X são linearmente independentes, portanto, temos solução única para b 0 e b 1. Onde b ’ =[b 0 b 1 ] Exercício: desenvolva X ’ Xb=X ’ y e verifique que são exatamente as equações normais obtidas no capítulo (parte) 1 do curso.

25 25 Estimativas dos coeficientes de regressão Para obtermos as estimativas dos coeficientes de regressão, a partir das equações normais, devemos pré-multiplicar ambos os lados da igualdade pela inversa de X’X: Como (X’X) -1 ( X’X)=I e Ib=b, temos:

26 26 Exemplo: vamos usar a abordagem matricial para obtermos os coeficientes de regressão para o exemplo de uma pesquisadora que está estudando a porcentagem de acertos com o tamanho da cache. Vamos definir o vetor y e a matriz X:

27 27

28 28 A inversa de (X’X) é: Finalmente, obtemos:

29 29 Exemplo: vamos usar a abordagem matricial para obtermos os coeficientes de regressão para o exemplo de uma pesquisadora que está estudando o comportamento de Staphilococcus aureus em frango, mantido sob condições de congelamento doméstico (-18 o C) ao longo do tempo. Vamos definir o vetor Y e a matriz X:

30 30 A inversa de (X’X) é: Finalmente, obtemos:

31 31 Exercício: usando métodos(álgebra) matriciais, encontre os coeficientes de regressão para o exemplo das idades das casas e o valor do aluguel do imóvel. O vetor Y e a matriz X são dadas por: Valores estimados e resíduos Valores estimados Em termos matriciais, os valores estimados são obtidos por:

32 32 Exemplo: vamos estimar os valores de porcentagem de acertos na cache de acordo com o nosso modelo RLS.

33 33 Para o exemplo de populações de bactérias e o tempo, temos: Exercício: usando métodos (álgebra) matriciais, encontre os valores estimados pelo modelo de regressão ajustado, para o exemplo das idades das casas e o valor do aluguel do imóvel.

34 34 Matriz de projeção (Hat Matrix) O vetor de valores estimados, pode ser obtido através da seguinte expressão: (Matriz de projeção, simétrica e idempotente: HH=H) Como vemos, os valores ajustados (estimados), podem ser obtidos como combinações lineares das observações da variável de resposta Y i, com os coeficientes sendo os elementos da matriz H.

35 35 Resíduos Os resíduos, em termos matriciais, são dados por: Para o exemplo de porcentagem de acerto na cache e o tamanho, obtemos os seguintes valores para os resíduos: Exercício: para o exemplo de porcentagem de acertos na cache e o tamanho da cache, obtenha os valores ajustados através da expressão:

36 36 Continuando com o exemplo de populações de bactérias e o tempo, obtemos os seguintes valores para os resíduos: Exercício: obtenha os valores dos resíduos para o exemplo das idades e valores dos aluguéis de imóveis.

37 37 Matriz de variância-covariância dos resíduos Da mesma forma que os valores estimados, os resíduos também podem ser obtidos como combinação linear das observações Y i, isto é: A matriz (I-H) é simétrica e idempotente. A derivação da matriz de variância-covariância do vetor dos resíduos é feita como segue. Sabemos que Portanto, Porém, para o modelo com erros normais, temos: Também, (I-H) ’ =(I-H), devido a propriedade de simetria. Assim:

38 38 Exercício: obter s 2 (e) para os dados de população de Staphilococcus. Calcule a correlação entre  (e 1,e 2 ). Programe no SAS a matriz de correlação. X 6 rows 2 cols (numeric) 1 0 1 7 1 14 1 21 1 28 1 35 XLX 2 rows 2 cols (numeric) 6 105 105 2695 IXLX (inversa) 2 rows 2 cols (numeric) 0.5238095 -0.020408 -0.020408 0.0011662 proc iml; reset print; X={1 0, 1 7, 1 14, 1 21, 1 28, 1 35}; XLX= X`*X; IXLX=inv(XLX); H=X*IXLX*X`; I=I(6); S=I-H; QME=0.065977; s2erros=QME*S: Proc IML do SAS Esta matriz é estimada por:

39 39 S=I-H 6 rows 6 cols (numeric) 0.4762 -0.3810 -0.2381 -0.0952 0.0476 0.1905 -0.3810 0.7048 -0.2095 -0.1238 -0.0381 0.0476 -0.2381 -0.2095 0.8190 -0.1524 -0.1238 -0.0952 -0.0952 -0.1238 -0.1524 0.8190 -0.2095 -0.2381 0.0476 -0.0381 -0.1238 -0.2095 0.7048 -0.3810 0.1905 0.0476 -0.0952 -0.2381 -0.3810 0.4762 S2ERROS s 2 (erros) 6 rows 6 cols (numeric) 0.0314 -0.0251 -0.0157 -0.0063 0.0031 0.0126 -0.0251 0.0465 -0.0138 -0.0082 -0.0025 0.0031 -0.0157 -0.0138 0.0540 -0.0101 -0.0082 -0.0063 -0.0063 -0.0082 -0.0101 0.0540 -0.0138 -0.0157 0.0031 -0.0025 -0.0082 -0.0138 0.0465 -0.0251 0.0126 0.0031 -0.0063 -0.0157 -0.0251 0.0314

40 40 Análise de variância Soma de quadrados O termo da correção é dada por: A soma de quadrados total é dada por: A soma de quadrados do erro (resíduo) é dada por: A soma de quadrados da regressão é dada por:

41 41 Exemplo: Para os dados de porcentagem de acertos na cache e o tamanho da cache, vamos obter as somas de quadrados da ANOVA. Correção: Soma de quadrados total: Assim: SQTotal =28.652,398-28471,969=180,428

42 42 Soma de quadrados da regressão: Soma de quadrados do erro: SQErro = 180,4284-154,6899=25,7385 Assim: SQRegressão = 28626,659-28471,969=154,6899 Estes resultados são exatamente os mesmos obtidos no capítulo 1.

43 43 Exemplo: Continuando com os dados de populações de bactérias e o tempo, vamos obter as somas de quadrados da ANOVA. Correção: Soma de quadrados total: Assim: SQTotal =54,3781-53,8082=0,5699

44 44 Soma de quadrados da regressão: Soma de quadrados do erro: SQErro = 54,3781-54,1142=0,264 Assim: SQRegressão = 54,1141-53,8082=0,3059 Estes resultados são exatamente os mesmos obtidos no capítulo 1.

45 45 Soma de quadrados como formas quadráticas As somas de quadrados de uma ANOVA, correspondem ao que se denomina de formas quadráticas, isto é, pode-se mostrar que as somas de quadrados são formas quadráticas. Exemplo de uma forma quadrática das observações Y i para n=2 é: Polinômio de segundo grau Podemos colocar esta expressão em termos matriciais da seguinte forma: A matriz A deve ser simétrica e é chamada matriz da forma quadrática. Em geral uma forma quadrática é definida por:

46 46 Sabemos que: 2. (AB) ’ =B’A’ Assim, podemos escrever: Usando o resultado: Obtemos: Como H é simétrica, H ’ =H, assim podemos escrever: Com este resultado podemos expressar as somas de quadrados através das formas quadráticas: Soma de quadrados total: Soma de quadrados da regressão Soma de quadrados do erro Exercício: verifique que as matrizes das formas quadráticas são simétricas

47 47 Inferência na análise de regressão Vamos tratar aqui das expressões para o cálculo das estimativas das variâncias dos estimadores pontuais de maior interesse. Coeficientes de regressão A matriz de variância-covariância de b é dada por:                           2 2 2 2 2 2 2 222 )()( )()( 2 1 2 10 100 2 2 )(σ )(),( ),()( )(σ XXXX X XX X XX X n ii ii bbb bbb     b 1'22 )(σ)(σXXb b Substituindo-se  2 pelo Quadrado médio residual (QME), obtemos a estimativa da matriz de variância-covariância de b, representada por s 2 (b).

48 48 Demonstração: Sabemos que: Assim, Mas, Além disso, pelo fato de que (X’X) -1 é simétrica, temos: A ’ =X(X’X) -1 Dessa forma encontramos:

49 49 Exemplo: desejamos calcular s 2 (b 0 ) e s 2 (b 1 ) com os dados de porcentagem de acertos na cache e o tamanho através da abordagem matricial.

50 50 Exemplo: desejamos calcular s 2 (b 0 ) e s 2 (b 1 ) com os dados de populações de bactérias e o tempo através da abordagem matricial. Exercício: calcular s 2 (b 0 ) e s 2 (b 1 ) com os dados de valores de aluguéis e a idade das casas. Resposta média Para estimar a resposta média em X h, vamos definir o vetor: Vimos que os valores estimados, na forma matricial, são dados por:

51 51 Exemplo: Para o exemplo das porcentagens de acerto na cache, desejamos determinar a estimativa da resposta média quando X h =0,33. Temos:

52 52 A variância de uma resposta média é dada por: A estimativa da variância é obtida substituindo-se  2 pelo Quadrado médio residual (erro) Sabemos que :  2 (W)=  2 (AY)= A  2 (Y)A ’ Assim,

53 53 Exemplo:Para o exemplo das porcentagens de acerto na cache, desejamos determinar a estimativa da variância da média de uma observação estimada quando X h =0,33. Temos:

54 54 Exercício: encontre a estimativa da variância da resposta média para os dados de aluguel e idade de casas para X h =15. Exemplo: Para o exemplo das populações de Staphilococcus, desejamos determinar a estimativa da variância da média de uma observação estimada quando X h =22. Temos:

55 55 Predição de uma observação Para predizer a resposta média em X h, vamos definir o vetor: Vimos que os valores preditos, na forma matricial, são dados por: Exemplo: Para o exemplo das porcentagens de acerto na cache, desejamos predizer a resposta média quando X h =0,33. Temos:

56 56 A variância de uma predição é dada por: Exemplo:Para o exemplo das porcentagens de acerto na cache, desejamos determinar a estimativa da variância da predição de uma observação quando X h =0,33. Temos:

57 57 proc iml; Y={3.114, 3.568, 2.845, 3.079, 2.699, 2.663}; print Y; X={1 0, 1 7, 1 14, 1 21, 1 28, 1 35}; print X; XLX= X`*X; print XLX; xlY=X`*Y; print xly; xlxinver=inv(xlx); print xlxinver; b=xlxinver*xly; print b; /* valores estimados */ Yestima=x*b; print yestima; /* residuos */ residuo=y-yestima; print residuo;

58 58 /* correcao */ Cor=(1/6)*Y`*J(6,6,1)*Y; print cor; /* Soma de quadrados total */ sqtotal=Y`*Y; print sqtotal; /* Soma de quadrados da regressao */ sqregres=b`*x`*y; print sqregres; /* estimativas das variancias de b0 e b1 */ varianci=0.065977*xlxinver; print varianci; /* variancia de uma media estimada */ x_h={1, 22}; s2yhat=x_h`*varianci*x_h; print s2yhat; NOTA: fazer lista de exercícios número 5.