Regressão linear simples

Apresentação em tema: "Regressão linear simples"— Transcrição da apresentação:

1 Regressão linear simples
Variável independente, X Variável dependente, Y Temperatura do forno (0C) Resistência mecânica da cerâmica (MPa) Quantidade de aditivo (%) Octanagem da gasolina Renda (R$) Consumo (R$) Memória RAM do computador (Gb) Tempo de resposta do sistema (s) Área construída do imóvel (m2) Preço do imóvel (R$)

2 Exemplo 11.2: Resultados de n = 6 ensaios experimentais:
X = % de aditivo Y = Índice de octanagem da gasolina X Y 1 80,5 2 81,6 3 82,1 4 83,7 5 83,9 6 85,0

3 Exemplo 11.2:

4 Regressão - Modelo Y = + Regressão Linear Simples Parâmetros
Predito por X, se- gundo uma função Efeito aleatório + Regressão Linear Simples Parâmetros

5 Modelo de regressão linear simples
Em termos das variáveis: Em termos dos dados: Yi =  + xi + i Suposições: os termos de erro (1, 2, ..., n) são variáveis aleatórias independentes; E{i} = 0; V{i} = 2; e i tem distribuição normal (i = 1, 2, ..., n).

6 Método dos mínimos quadrados para estimar  e 
Minimizar em relação a  e  : yi xi i

7 Método dos mínimos quadrados para estimar  e 
Resultado das derivadas parciais: Estimativa de : Estimativa de  : Reta de regressão construída com os dados:

8 Qualidade do ajuste Ajustou-se uma equação de regressão entre X e Y. E a qualidade do ajuste? análise de variância do modelo análise dos resíduos

9 Reta de regressão e resíduos
Valores preditos: yi xi ei Resíduos:

10 Análise de variância do modelo
Desvio em relação à média aritmética: yi xi ei di Desvio em relação à reta de regressão (resíduo da regressão):

11 Somas de quadrados = + SQT variação total SQR variação explicada
pela equação de regressão SQE variação não explicada

12 Somas de quadrados Coeficiente de determinação:

13 Medida da qualidade do ajuste:
Coeficiente de determinação (R2) R2 = Variação total explicada =  (yi - y)2 ^ Matematicamente, R é o quadrado do Coef. de Correlação de Pearson. 0  R2  1

14 Exemplo 11.2: Interpretar.

15 Análise de variância do modelo
Fonte de variação gl SQ QM Razão f Regressão 1 Erro n – 2 Total n – 1

16 Teste de significância do modelo
H0:  = e H1:   0 Distribuição de referência para a razão f : distribuição F com gl = 2 no numerador e gl = n – 2 no denominador (Tabela 6).

17 Exemplo 11.2: gl SQ MQ Fonte de variação Razão f Regressão 1 13,73
13,729 156,26 Erro 4 0,35 0,088 Total 5 14,08

18 Regressão Múltipla Predizer valores de uma variável dependente (Y) em função de variáveis independentes (X1, X2, ..., Xk). Conhecer o quanto variações de Xj (j = 1,...,k) podem afetar Y.

19 Modelo de Regressão Múltipla
E{Y} = f(X1, X2, ..., Xk) Linear: E{Y} = 0 + 1X1 + 2X kXk onde Y, X1, ..., Xk podem representar as variáveis originais ou transformadas. Admite-se que X1, ..., Xk são variáveis matemáticas e Y é uma variável aleatória.

20 Modelo de Regressão Múltipla
E{Y} = 0 + 1X1 + 2X kXk O coeficiente k representa a variação esperada de Y para cada unidade de variação em Xk (k = 1, 2, ..., k), considerando as outras variáveis independentes fixas. O primeiro objetivo é estimar os coeficientes: 0, 1, 2, ..., k.

21 Modelo de Regressão Múltipla
AMOSTRA: variáveis obs. Y X1 X2 ... Xk 1 y1 x11 x x1k y2 x21 x x2k n yk xn1 xn2 ... xnk E{yi} = 0 + 1xi1 + 2xi kxik yi = 0 + 1xi1 + 2xi kxik + ei termo aleatório (erro)

22 Modelo de Regressão Múltipla Suposições
yi = 0 + 1xi1 + 2xi kxik + ei termo aleatório (erro) Os erros (ei) são independentes e variam aleatoriamente segundo uma distribuição (normal) com média zero e variância constante. Suposição adicional: não deve haver correlações muito forte entre as variáveis independentes.

23 Modelos lineares: Exemplo com regressãolinear simples
i xi yi yi = 0 +1xi + ei = 0 +  e1 = 0 +  e2 = 0 +  e3 = 0 +  e4 = 0 +  e5

24 Modelos lineares: Exemplo com regressão linear simples
Y = X  +  e1 e2 e3 e4 e5 e1 e2 e3 e4 e5 98 110 112 115 122 1 20 1 25 1 30 1 35 1 40 0 1 = +

25 Modelos lineares: Exemplo com regressão linear múltipla
i x1i x2i yi

26 Modelos lineares: Exemplo com regressão linear múltipla
Y = X   e1 e2 e3 e4 e5 e1 e2 e3 e4 e5 0 1 2 98 110 112 115 122 + =

27 Modelos lineares: Estimador de mínimos quadrados
Y = X  +  Estimador de mínimos quadrados de , isto é, o vetor b que minimiza a função L() = ’ = (Y - X)’(Y - X) : b = (b0, b1, ..., bk)’

28 Regressão Múltipla Equação de regressão ajustada aos dados:
Valores preditos: Resíduos: (estimativa da) variância do erro:

29 Regressão Múltipla: comparando modelos
Dado dois modelos p1 e p2 com n1 e n2 coeficientes com n2>n1. H0: o número maior de coeficientes de p2 só servem para ajustar o erro experimental Sob H0 e considerando as suposições do modelo, f tem distrib. F com g.l. n2-n1 (no num.) e (Nexp-n21) (no denom.)

30 Medida do Ajuste  (yi - y)2 Coeficiente de determinação (R2) R2 =
Variação total explicada =  (yi - y)2 ^ 0  R2  1 Coef. de correlação múltiplo (R): coef. de correlação entre yi e

31 Regressão Múltipla: teste sobre o modelo
E{Y} = 0 + 1X1 + 2X kXk H0: 1 = 2 = ... = k = 0 Sob H0 e considerando as suposições do modelo, f tem distrib. F com g.l. k (no num.) e (n-k-1) (no denom.)

32 Teste de falta de ajuste
m = número de níveis de X; n = número de replicações; p = número de parâmetros do modelo Estatística do teste:

33 Teste de falta de ajuste
m = número de níveis de X; n = número de replicações; p = número de parâmetros do modelo Estatística do teste:

34 % Variação explicada: SQR/SQT
% Variação explićavel: (SQT-Sqep)/SQT

35 Regressão Múltipla: teste sobre um particular coeficiente
E{Y} = 0 + 1X kXk kXk H0: j = 0 onde cjj é o k-ésimo elemento da diag. princ. da matriz C = (X’X)-1. Sob H0 e considerando as suposições do modelo, t tem distrib. t de student com g.l. = (n-k-1)

36 Exemplo 2 Obter o melhor modelo (Taylor) para:

37 Exemplo 2