Análise de regressão linear simples: abordagem matricial Álgebra de matrizes é amplamente utilizada na estatística. É praticamente uma necessidade na regressão linear múltipla, pois permite que grandes sistemas de equações e conjunto de dados sejam representados de forma compacta e operacional. Matrizes Matriz: um conjunto de elementos arranjados em linhas e colunas. Exemplo: Coluna 1 Coluna 2 Linha 1 Linha 2 A = Linha 3 (3 x 2) (Dimensão: 3 x 2) Linhas Colunas i=1,2,3 (linhas) j=1,2 (colunas) Representada por letras em negrito, p.e., A, B, C, , , , , etc.

Matriz transposta (A’): Matriz quadrada: Número de linhas = número de colunas. Vetor: Contém apenas uma coluna. Também são representados por letras minúsculas em negrito. Vetor linha ou transposto: Matriz transposta (A’):

Aplicação na regressão linear simples: O vetor y consiste de n observações da variável resposta: Matriz X de delineamento: O vetor dos parâmetros:

Exemplo : X Y X = tamanho do registro Y = tempo para criptografar 128 Resultados de n = 8 ensaios experimentais: X Y X = tamanho do registro Y = tempo para criptografar 128 375 256 805 384 1444 512 1323 640 2339 768 3067 896 2458 1024 3329

Exercício: em um experimento foi estudado a porcentagem de acertos na cache (Y) em função do tamanho da cache (X), em kbytes, para um determinado tipo de pré-carregamento. Alguns resultados deste experimento foram: Tamanho da cache: 250 300 350 400 Acertos (%) : 44,45 46,99 50,66 53,21 Dar o vetor de dados (y), vetor de dados transposto (y’), a matriz de delineamento (X), matriz do delineamento transposta (X’) e o vetor de parâmetros ().

Adição e subtração de matrizes: Matrizes de mesma dimensão Aplicação na regressão: Temos o modelo de regressão, para a i-ésima observação: onde E(yi) corresponde ao valor médio de yi. Este modelo pode ser escrito em forma matricial.

Vamos definir os vetores de respostas médias e de resíduos: Assim, o modelo de regressão escrito na forma matricial, fica: Exercício: estruturar o vetor de erros () para o experimento sobre acertos e tamanho de cache.

Multiplicação de matrizes: Por escalar: Multiplicação de matriz por matriz: Nota: geralmente ABBA. Para poder realizar a multiplicação, o número de colunas da matriz A dever ser igual ao número de linhas da matriz B. Exercício: faça a multiplicação das matrizes:

Aplicação na regressão:

Exemplo: tempo para criptografar e tamanho do registro Exercício: Para o experimento sobre acertos e tamanho de cache, realizar o produto de vetores: y’y.

Importante:

Exemplo: tempo para criptografar e tamanho do registro Exercício: Para o experimento sobre acertos e tamanho de cache, realizar o produto de matrizes: X’X.

Importante:

Exemplo: tempo para criptografar e tamanho do registro Exercício: Para o experimento sobre acertos e tamanho de cache, realizar o produto X’y.

Importante:

Exemplo: tempo para criptografar e tamanho do registro Exercício: Para o experimento sobre acertos e tamanho de cache, realizar o produto X.

Portanto, o modelo de regressão na forma matricial fica:

Exercício: Para o experimento sobre acertos e tamanho de cache, obtenha o modelo de regressão linear simples através das operações y = X + .

Inversa de uma matriz Ax = b Suponha a equação a.x = b, em que a, b e x são números reais e queremos resolver esta equação em x. Vemos diretamente que x = b/a é a solução para a  0. As etapas para se chegar a esta solução foram: Para duas ou mais equações temos a seguinte representação em termos matriciais: Ax = b O que precisamos fazer para resolver estas equações em x? Precisamos encontrar uma matriz representada por A-1, chamada inversa de A, equivalente a 1/a, tal que A-1A=I, sendo I uma matriz cujos elementos na diagonal são todos iguais a 1 e fora iguais a zero, ou seja:

Exemplo Se temos um sistema de equações: Assumindo que A tem inversa, podemos pré-multiplicar ambos os lados da igualdade por A-1: Como A-1Ax = Ix = x, obtemos a solução:

Exemplo: suponha o seguinte sistema de equações: Escrevendo na forma matricial temos: A solução do sistema de equações é dada por: Observação: a inversa da matriz foi calculada com o auxílio do Excel.

Aplicação na regressão Na análise de regressão, a principal inversa é a de (X’X), representada por (X’X)-1: Exemplo: Para o experimento sobre tempo para criptografar e tamanho do registro, a inversa da matriz (X’ X) com o auxílio de uma planilha eletrônica.

Exemplo: Para o experimento sobre acertos e tamanho de cache, a inversa da matriz (X’ X) com o auxílio de uma planilha eletrônica.

Análise de regressão linear simples através de matrizes O modelo de regressão linear simples, na forma matricial é dado por: Para obtermos as estimativas dos coeficientes de regressão (b) devemos resolver as equações normais: Como (X’X)-1( X’X)=I e Ib=b, temos:

Exemplo: Usando a abordagem matricial obter os coeficientes de regressão para o exemplo de um pesquisador que está estudando o tempo para criptografar e o tamanho do registro. Exercício: Usando a abordagem matricial obter os coeficientes de regressão para o exemplo de uma pesquisadora que está estudando a porcentagem de acertos com o tamanho da cache.

Valores estimados e resíduos Em termos matriciais, os valores estimados ou preditos são obtidos por:

Exemplo: Estimar (predizer) os valores de tempo para criptografar de acordo com o modelo de regressão linear simples. Exercício: Estimar (predizer) os valores de porcentagem de acertos na cache de acordo com o modelo de regressão linear simples.

Resíduos Os resíduos, em termos matriciais, são dados por: Exemplo: Obter os valores dos resíduos ou erros do tempo para criptografar de acordo com o modelo de regressão linear simples.

Exercício: para o exemplo de porcentagem de acerto na cache e o tamanho, obter o vetor de valores dos resíduos:

Exemplo: X Y 128 375 X = tamanho do registro Resultados de n = 8 ensaios experimentais: X Y 128 375 X = tamanho do registro Y = tempo para criptografar 256 805 384 1444 512 1323 640 2339 768 3067 896 2458 3329 1024 Calcular SQE (Soma de quadrados dos erros) e QME (Quadrado médio dos erros).

QME = 752.903,9/(8-2) = 107.557,7 Exercício: Para os dados de porcentagem de acertos na cache e tamanho calcular SQE (Soma de quadrados dos erros) e QME (Quadrado médio dos erros).

Análise de variância Soma de quadrados O termo da correção é dada por: A soma de quadrados total é dada por: A soma de quadrados do erro (resíduo) é dada por: A soma de quadrados da regressão é dada por:

Exercício: para os dados de porcentagem de acertos na cache e o tamanho da cache, obter as somas de quadrados da ANOVA. Correção: Soma de quadrados total: Soma de quadrados da regressão: Soma de quadrados do erro: Fazer a tabela da ANOVA com a razão F*. Fazer o teste de significância do modelo.

Inferência na análise de regressão Vamos tratar aqui das expressões para o cálculo do intervalo de confiança para uma resposta média e do intervalo de predição para uma nova observação. Resposta média Para estimar a resposta média em Xh, vamos definir o vetor: Vimos que os valores estimados, na forma matricial, são dados por:

Exemplo Para o exemplo do tempo para criptografar, deseja-se determinar a estimativa da resposta média quando Xh = 512. Tem-se:

Exercício: para o exemplo das porcentagens de acerto na cache, deseja-se determinar a estimativa da resposta média quando Xh = 300. Tem-se:

A estimativa da variância de uma resposta média é obtida por: Exemplo: para o exemplo do tempo para criptografar, determinar a estimativa da variância da média de uma observação estimada quando Xh=512. Temos: Exemplo: para o exemplo do tempo para criptografar, determinar a estimativa do desvio padrão da média de uma observação estimada quando Xh=512. Temos: Exemplo: construir o intervalo de confiança, com 95%, para a resposta média quando Xh=512.

Exercício: para o exemplo das porcentagens de acerto na cache, determinar a estimativa da variância da média de uma observação estimada quando Xh=300. Temos: Exercício: para o exemplo das porcentagens de acerto na cache, determinar a estimativa do desvio padrão da média de uma observação estimada quando Xh=300. Temos: Exercício: construir o intervalo de confiança, com 95%, para a resposta média quando Xh=300.

Predição de uma observação Para predizer a resposta em Xh, vamos definir o vetor: Vimos que os valores preditos, na forma matricial, são dados por: Exercício: para o exemplo das porcentagens de acerto na cache, predizer a porcentagem de acertos quando Xh=300. Temos:

A variância de uma predição é dada por: Exercício: para o exemplo das porcentagens de acerto na cache, desejamos determinar a estimativa da variância da predição de uma observação quando Xh=300. Temos: Exercício: para o exemplo das porcentagens de acerto na cache, desejamos determinar a estimativa do desvio padrão da predição de uma observação quando Xh=300. Temos: Exercício: construir o intervalo de predição, com 95%, para um valor da resposta quando Xh=300.

Exercício: continuação do exercício do tempo para criptografar e o tamanho da palavra. Predição. Determinar a estimativa da variância e o desvio padrão da predição de uma observação quando Xh = 512. Seja QME = 107.557,7. Intervalo de predição. Construir o intervalo de predição, com 95% de confiança, para um valor da resposta quando Xh = 512.