Análise de regressão linear simples: abordagem matricial

Apresentação em tema: "Análise de regressão linear simples: abordagem matricial"— Transcrição da apresentação:

1 Análise de regressão linear simples: abordagem matricial
Álgebra de matrizes é amplamente utilizada na estatística. É praticamente uma necessidade na regressão linear múltipla, pois permite que grandes sistemas de equações e conjunto de dados sejam representados de forma compacta e operacional. Matrizes Matriz: um conjunto de elementos arranjados em linhas e colunas. Exemplo: Coluna 1 Coluna 2 Linha 1 Linha 2 A = Linha 3 (3 x 2) (Dimensão: 3 x 2) Linhas Colunas i=1,2,3 (linhas) j=1,2 (colunas) Representada por letras em negrito, p.e., A, B, C, , , , , etc.

2 Matriz transposta (A’):
Matriz quadrada: Número de linhas = número de colunas. Vetor: Contém apenas uma coluna. Também são representados por letras minúsculas em negrito. Vetor linha ou transposto: Matriz transposta (A’):

3 Aplicação na regressão linear simples:
O vetor y consiste de n observações da variável resposta: Matriz X de delineamento: O vetor dos parâmetros:

4 Exemplo : X Y X = tamanho do registro Y = tempo para criptografar 128
Resultados de n = 8 ensaios experimentais: X Y X = tamanho do registro Y = tempo para criptografar 128 375 256 805 384 1444 512 1323 640 2339 768 3067 896 2458 1024 3329

5

6 Exercício: em um experimento foi estudado a porcentagem de acertos na cache (Y) em função do tamanho da cache (X), em kbytes, para um determinado tipo de pré-carregamento. Alguns resultados deste experimento foram: Tamanho da cache: Acertos (%) : 44, , , ,21 Dar o vetor de dados (y), vetor de dados transposto (y’), a matriz de delineamento (X), matriz do delineamento transposta (X’) e o vetor de parâmetros ().

7 Adição e subtração de matrizes:
Matrizes de mesma dimensão Aplicação na regressão: Temos o modelo de regressão, para a i-ésima observação: onde E(yi) corresponde ao valor médio de yi. Este modelo pode ser escrito em forma matricial.

8 Vamos definir os vetores de respostas médias e de resíduos:
Assim, o modelo de regressão escrito na forma matricial, fica: Exercício: estruturar o vetor de erros () para o experimento sobre acertos e tamanho de cache.

9 Multiplicação de matrizes:
Por escalar: Multiplicação de matriz por matriz: Nota: geralmente ABBA. Para poder realizar a multiplicação, o número de colunas da matriz A dever ser igual ao número de linhas da matriz B. Exercício: faça a multiplicação das matrizes:

10 Aplicação na regressão:

11 Exemplo: tempo para criptografar e tamanho do registro
Exercício: Para o experimento sobre acertos e tamanho de cache, realizar o produto de vetores: y’y.

12 Importante:

13 Exemplo: tempo para criptografar e tamanho do registro
Exercício: Para o experimento sobre acertos e tamanho de cache, realizar o produto de matrizes: X’X.

14 Importante:

15 Exemplo: tempo para criptografar e tamanho do registro
Exercício: Para o experimento sobre acertos e tamanho de cache, realizar o produto X’y.

16 Importante:

17 Exemplo: tempo para criptografar e tamanho do registro
Exercício: Para o experimento sobre acertos e tamanho de cache, realizar o produto X.

18 Portanto, o modelo de regressão na forma matricial fica:

19 Exercício: Para o experimento sobre acertos e tamanho de cache, obtenha o modelo de regressão linear simples através das operações y = X + .

20 Inversa de uma matriz Ax = b
Suponha a equação a.x = b, em que a, b e x são números reais e queremos resolver esta equação em x. Vemos diretamente que x = b/a é a solução para a  0. As etapas para se chegar a esta solução foram: Para duas ou mais equações temos a seguinte representação em termos matriciais: Ax = b O que precisamos fazer para resolver estas equações em x? Precisamos encontrar uma matriz representada por A-1, chamada inversa de A, equivalente a 1/a, tal que A-1A=I, sendo I uma matriz cujos elementos na diagonal são todos iguais a 1 e fora iguais a zero, ou seja:

21 Exemplo Se temos um sistema de equações:
Assumindo que A tem inversa, podemos pré-multiplicar ambos os lados da igualdade por A-1: Como A-1Ax = Ix = x, obtemos a solução:

22 Exemplo: suponha o seguinte sistema de equações:
Escrevendo na forma matricial temos: A solução do sistema de equações é dada por: Observação: a inversa da matriz foi calculada com o auxílio do Excel.

23 Aplicação na regressão
Na análise de regressão, a principal inversa é a de (X’X), representada por (X’X)-1: Exemplo: Para o experimento sobre tempo para criptografar e tamanho do registro, a inversa da matriz (X’ X) com o auxílio de uma planilha eletrônica.

24 Exemplo: Para o experimento sobre acertos e tamanho de cache, a inversa da matriz (X’ X) com o auxílio de uma planilha eletrônica.

25 Análise de regressão linear simples através de matrizes
O modelo de regressão linear simples, na forma matricial é dado por: Para obtermos as estimativas dos coeficientes de regressão (b) devemos resolver as equações normais: Como (X’X)-1( X’X)=I e Ib=b, temos:

26 Exemplo: Usando a abordagem matricial obter os coeficientes de regressão para o exemplo de um pesquisador que está estudando o tempo para criptografar e o tamanho do registro. Exercício: Usando a abordagem matricial obter os coeficientes de regressão para o exemplo de uma pesquisadora que está estudando a porcentagem de acertos com o tamanho da cache.

27 Valores estimados e resíduos
Em termos matriciais, os valores estimados ou preditos são obtidos por:

28 Exemplo: Estimar (predizer) os valores de tempo para criptografar de acordo com o modelo de regressão linear simples. Exercício: Estimar (predizer) os valores de porcentagem de acertos na cache de acordo com o modelo de regressão linear simples.

29 Resíduos Os resíduos, em termos matriciais, são dados por: Exemplo:
Obter os valores dos resíduos ou erros do tempo para criptografar de acordo com o modelo de regressão linear simples.

30 Exercício: para o exemplo de porcentagem de acerto na cache e o tamanho, obter o vetor de valores dos resíduos:

31 Exemplo: X Y 128 375 X = tamanho do registro
Resultados de n = 8 ensaios experimentais: X Y 128 375 X = tamanho do registro Y = tempo para criptografar 256 805 384 1444 512 1323 640 2339 768 3067 896 2458 3329 1024 Calcular SQE (Soma de quadrados dos erros) e QME (Quadrado médio dos erros).

32 QME = ,9/(8-2) = ,7 Exercício: Para os dados de porcentagem de acertos na cache e tamanho calcular SQE (Soma de quadrados dos erros) e QME (Quadrado médio dos erros).

33 Análise de variância Soma de quadrados O termo da correção é dada por:
A soma de quadrados total é dada por: A soma de quadrados do erro (resíduo) é dada por: A soma de quadrados da regressão é dada por:

34 Exercício: para os dados de porcentagem de acertos na cache e o tamanho da cache, obter as somas de quadrados da ANOVA. Correção: Soma de quadrados total: Soma de quadrados da regressão: Soma de quadrados do erro: Fazer a tabela da ANOVA com a razão F*. Fazer o teste de significância do modelo.

35 Inferência na análise de regressão
Vamos tratar aqui das expressões para o cálculo do intervalo de confiança para uma resposta média e do intervalo de predição para uma nova observação. Resposta média Para estimar a resposta média em Xh, vamos definir o vetor: Vimos que os valores estimados, na forma matricial, são dados por:

36 Exemplo Para o exemplo do tempo para criptografar, deseja-se determinar a estimativa da resposta média quando Xh = 512. Tem-se:

37 Exercício: para o exemplo das porcentagens de acerto na cache, deseja-se determinar a estimativa da resposta média quando Xh = 300. Tem-se:

38 A estimativa da variância de uma resposta média é obtida por:
Exemplo: para o exemplo do tempo para criptografar, determinar a estimativa da variância da média de uma observação estimada quando Xh=512. Temos: Exemplo: para o exemplo do tempo para criptografar, determinar a estimativa do desvio padrão da média de uma observação estimada quando Xh=512. Temos: Exemplo: construir o intervalo de confiança, com 95%, para a resposta média quando Xh=512.

39 Exercício: para o exemplo das porcentagens de acerto na cache, determinar a estimativa da variância da média de uma observação estimada quando Xh=300. Temos: Exercício: para o exemplo das porcentagens de acerto na cache, determinar a estimativa do desvio padrão da média de uma observação estimada quando Xh=300. Temos: Exercício: construir o intervalo de confiança, com 95%, para a resposta média quando Xh=300.

40 Predição de uma observação
Para predizer a resposta em Xh, vamos definir o vetor: Vimos que os valores preditos, na forma matricial, são dados por: Exercício: para o exemplo das porcentagens de acerto na cache, predizer a porcentagem de acertos quando Xh=300. Temos:

41 A variância de uma predição é dada por:
Exercício: para o exemplo das porcentagens de acerto na cache, desejamos determinar a estimativa da variância da predição de uma observação quando Xh=300. Temos: Exercício: para o exemplo das porcentagens de acerto na cache, desejamos determinar a estimativa do desvio padrão da predição de uma observação quando Xh=300. Temos: Exercício: construir o intervalo de predição, com 95%, para um valor da resposta quando Xh=300.

42 Exercício: continuação do exercício do tempo para criptografar e o tamanho da palavra.
Predição. Determinar a estimativa da variância e o desvio padrão da predição de uma observação quando Xh = 512. Seja QME = ,7. Intervalo de predição. Construir o intervalo de predição, com 95% de confiança, para um valor da resposta quando Xh = 512.