A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Regressão Linear Múltipla Rejane Sobrino Pinheiro Tânia Guillén de Torres.

Apresentações semelhantes


Apresentação em tema: "Regressão Linear Múltipla Rejane Sobrino Pinheiro Tânia Guillén de Torres."— Transcrição da apresentação:

1 Regressão Linear Múltipla Rejane Sobrino Pinheiro Tânia Guillén de Torres

2 Regressão linear múltipla Introdução Pode ser vista como uma extensão da regressão simples Mais de uma variável independente é considerada. Lidar com mais de uma variável é mais difícil, pois: É mais difícil escolher o melhor modelo, uma vez que diversas variáveis candidatas podem existir É mais difícil visualizar a aparência do modelo ajustado, mais difícil a representação gráfica em mais de 3 dimensões Às vezes, é difícil interpretar o modelo ajustado Cálculos difíceis de serem executados sem auxílio de computador

3 Exemplo: Supondo dados de peso, altura e idade de 12 crianças: A regressão múltipla pode ser usada para estudar o peso e sua variação em função da altura e idade das crianças.

4 Modelo O modelo de Regressão Linear Múltipla é representado pela equação: As constantes: 0, 1, 2,..., k, são os parâmetros populacionais. Os estimadores são representadas por: Um exemplo de regressão linear múltipla pode ser dado a partir da inclusão de um termo de ordem mais elevada, como X 2. Embora seja a mesma variável (X), esta pode ser interpretada como uma segunda variável (X 2 ).

5 Usos da Regressão Múltipla Ajustar dados: estudar o efeito de uma variável X, ajustando ou levando em conta outras variáveis independentes. Obter uma equação para predizer valores de Y a partir dos valores de várias variáveis X 1, X 2,...,X k. Explorar as relações entre múltiplas variáveis ( X 1, X 2,..., X k ) para determinar que variáveis influenciam Y.

6 A solução dos mínimos quadrados é a que minimiza a soma dos quadrados dos desvios entre os valores observados e a superfície de regressão ajustada.

7 Pressupostos da Regressão Linear Múltipla Os pressupostos da regressão linear simples podem ser estendidos para a regressão linear múltipla 1.Existência: Para uma combinação específica das variáveis independentes X 1, X 2,...,X k, Y é uma variável aleatória com uma certa distribuição de probabilidade, com média e variância finitas. 2.Independência: As observações de Y são estatisticamente independentes umas das outras. Este pressuposto é violado quando mais de uma observação é feita de um mesmo indivíduo.

8 Pressupostos da Regressão Linear Múltipla (cont...) 3.Linearidade: O valor médio de Y para cada combinação específica de X 1, X 2,...,X k é uma função linear de X 1, X 2,...,X k. Ou componente de erro do modelo, refletindo a diferença entre o valor observado para um indivíduo e a verdadeira resposta média para o conjunto de indivíduos de mesmas características. A relação entre Y e X i é linear ou é bem aproximada por uma função linear.

9 Pressupostos da Regressão Múltipla (cont...) 4. Homocedasticidade: A variância de Y é a mesma para qualquer combinação fixa de X 1, X 2,...,X k. Este pressuposto pode parecer muito restritivo. Heterocedasticidade deve ser considerada somente quando os dados apresentarem óbvia e significante não homogeneidade das variâncias. Em geral, não considerar a homocedasticidade não acarreta efeitos adversos nos resultados. 5. Amostra aleatória ou representativa da população.

10 Pressupostos da Regressão Múltipla (cont...) 6. Normalidade: para uma combinação fixa de X 1, X 2,..., X k, a variável Y tem distribuição normal. Y ~ N (, 2 ) Ou de modo equivalente ~N (0, 2 )

11 Pressupostos da Regressão Múltipla 7. Normalidade de Y Este pressuposto não é necessário para o ajuste do modelo usando os mínimos quadrados, mas é importante para a realização da inferência. Os testes de hipóteses paramétricos usuais e os cálculos dos intervalos de confiança utilizados nas análises de regressão são bastante robustos, de modo que somente em casos em que a distribuição de Y se afaste muito da distribuição normal os resultados gerados serão inadequados. No caso de não normalidade, transformações matemáticas de Y podem gerar conjunto de dados com distribuição aproximadamente normal (Log Y, Y); no caso de variável Y categórica nominal ou ordinal, métodos de regressão alternativos são necessários (logística - dados binários, Poisson - dados discretos) A Homocedasticidade e a Normalidade se aplicam à distribuição condicional de Y | X 1, X 2,...,X k

12 Determinando a melhor estimativa para o modelo de regressão múltipla A abordagem dos mínimos quadrados Minimiza a soma dos quadrados dos erros ou as distâncias entre os valores observados (Y i ) e os valores preditos pelo modelo ajustado.

13 A solução de mínimos quadrados consiste nos valores de (chamados de estimadores de mínimos quadrados) para os quais a soma da equação anterior é mínima. Cada um dos estimadores é uma função linear dos valores de Y. Se os valores de Y são normalmente distribuídos e são independentes entre si, os estimadores terão distribuição normal, com desvios padrões facilmente computáveis.

14 Exemplo: Supondo dados de peso, altura e idade de 12 crianças: A velocidade do efeito da idade diminui com o passar da idade Apresentar o efeito da idade para determinadas faixas: Peso 1 para crianças de X anos Peso 2 para crianças de Z anos X – Z Peso1 - Peso2

15 Interpretação dos coeficientes O coeficiente apresentado na tabela refere-se ao coeficiente parcial da regressão e difere do da regressão simples considerando a relação de cada variável independente em separado. O coeficiente expressa o aumento médio em Y dado um aumento de 1 unidade de X, sem considerar o efeito de qualquer outra variável independente (mantendo todos os outros fatores constantes). Para um aumento de 1 unidade na altura, há um aumento médio de no peso, para crianças de mesma idade.

16 O coeficiente da regressão padronizado Interesse em ordenar os coeficientes por grau de importância na predição de Y. Difícil comparar os coeficientes da regressão para saber qual variável independente possui maior associação com a variável dependente Y, pois cada variável está em uma unidade diferente. O coeficiente padronizado permite comparação da importância de cada variável para a predição de Y. Se X aumenta em 1 desvio padrão (Sx), indo para x + Sx, então Y aumentaria.Sx unidades. Caso seja desejado que o aumento em Y seja dado em desvios padrões de Y, podemos dividir a expressão por S Y, para saber quantos desvios padrões possui o termo.Sx.Sx/Sy O coeficiente padronizado da regressão (standard estimates) representa o aumento médio em Y (expresso em unidades de desvio padrão de Y) por um aumento de 1 desvio padrão em X, depois de ajustado por todas as outras variáveis do modelo

17 padronizado

18 Se fizermos gráficos separados entre as diversas variáveis, poderemos ter uma visão de pedaços ou projeções da superfície ajustada. Suponhamos que a superfície seja um plano (relação linear entre todos os fatores).

19 A tabela ANOVA da Regressão Múltipla Como no modelo de Regressão Simples: SSY= SSR + SSE R 2 = (SSY-SSE)/SSY R 2 sempre cresce à medida que mais variáveis são incluídas no modelo. Um acréscimo muito pequeno em R 2 pode não apresentar importância prática ou importância estatística. Variação total não explicada = Variação devida à regressão + variação residual não explicada

20 F crítico = F k,n-k-1,1- P =

21 SSE SSY Aqui, trabalha-se com os dados originais

22 Modelo 1: PESO = ALTURA + ^ 1 Modelo 1: PESO i = ALTURA + i

23 Modelo 2: PESO = IDADE +

24 Modelo 3: PESO = ALTURA + 2 IDADE + O modelo 3 possui melhor ajuste dos 3 modelos apresentados (maior R 2 ).

25 Modelo 4: PESO = ALTURA + 2 IDADE + 3 (IDADE) 2 + R 2 modelo 3 = e R 2 modelo 4 = ==> ? Modelo 3 mais parcimonioso. Efito da colinearidade – fx pequena de idade; e a relação deve ser uma reta

26 Teste de hipótese em Regressão Múltipla Uma vez que o modelo está ajustado, algumas questões com respeito ao ajuste e sobre a contribuição de cada variável independente para a predição de Y são importantes. São 3 questões básicas a serem respondidas: 1. Teste sobre a contribuição global de todas as variáveis tratadas coletivamente, o conjunto completo das variáveis (ou, equivalentemente, o modelo ajustado propriamente dito) contribui significativamente para a predição de Y? 2. Teste da adição de uma variável a adição de uma variável independente em particular melhora significativamente a predição de Y (a predição que foi alcançada pelas variáveis já existentes no modelo)? 3. Teste sobre a inclusão de um grupo de variáveis a adição de um conjunto de variáveis independentes melhora significativamente a predição de Y obtida pelas outras variáveis já previamente incluídas no modelo?

27 Estas perguntas são tipicamente respondidas com a realização de testes de hipóteses. Os testes podem ser expressos via o teste F. Em alguns casos, este teste pode ser equivalentemente realizado usando-se o teste t. Todo teste F em regressão envolve uma razão de variâncias estimadas MS = SS/graus de liberdade F crítico =F numerador, denominador, 1-nível de significância do teste

28 1. Teste para o modelo global Um modelo contendo k variáveis independentes como a seguir: A hipótese nula para este teste: "Todas as k variáveis independentes consideradas conjuntamente não explicam significativa quantidade de variação de Y H 0 : 1 = 2 =... = k = 0 H 1 : ao menos 1 0 (pelo menos 1 variável contribui significativamente para a predição de Y) Sob a hipótese H 0, o modelo completo pode ser resumido ao intercepto 0 Se uma variável auxiliar na predição (determinado 0), H 0 é rejeitada mesmo que os outros 's sejam = 0.

29 Para realização do teste, usam-se os termos médios quadráticos do modelo e do resíduo, como na regressão simples, para cálculo da estatística F:

30 O teste F calculado pode ser comparado com o ponto crítico da dstribuição F F k,n-k-1,1- nível de significância. H 0 é rejeitada se o valor calculado exceder o valor crítico. F pode ser escrito em função de R 2.

31 Se os erros têm distribuição normal e se H 0 é verdadeira, a estatística F tem distribuição F com k e n-k-1 graus de liberdade. Para um nível de significância, temos que: F crítico: F k,n-k-1,1- rejeita H 0 para F calculado maior que F crítico. Interpretação de H 0 rejeitada a amostra sugere que as variáveis independentes consideradas cojuntamente ajudam na predição da variável dependente Y. Não significa que todas as variáveios sejam necessárias para a predição de Y. Modelo mais parcimonioso pode ser adotado?

32 2. O teste F parcial A partir da tabela ANOVA, informação adicional pode ser obtida com respeito ao ganho na predição pela inclusão de variáveis independentes. X 1 = ALTURA, X 2 = IDADE, X 3 = (IDADE) 2 1. X 1 = ALTURA sozinha prediz Y? 2. A inclusão de X 2 = IDADE contribui significativamente para a predição de Y, após considerar (ou controlar por) X 1 ? 3. A inclusão de X 3 - (IDADE) 2 - contribui significativamente para a predição de Y, após controlar por X 1 e X 2 ? SS(X 1 ) soma dos quadrados explicada por somente X 1 para predição de Y. SS(X 2 |X 1 ) soma dos quadrados explicada extra pela inclusão de X 2 em adição à X 1 para predição de Y. SS(X 3 |X 1,X 2 ) soma dos quadrados explicada extra pela inclusão de X 3 em adição à X 1 e X 2 para predição de Y

33 Para responder à pergunta 1, basta ajustar um modelo linear simples (X1 = ALTURA). SSY = SSR + SSE FIXO SSR 1,2 Y X x1x1 Y SSR 2 SSY SSE 2 SSR 1 SSE 1 Y F = MSR extra MSE completo

34 SS(X 1 ) = SS(X 2 |X 1 ) = SSR (X 2 |X 1 ) = = SSE (X 2 |X 1 ) = = SS(X 3 |X 1,X 2 ) = SSR (X 3 |X 1,X 2 ) = = SSE (X 3 |X 1,X 2 ) = = SSR do modelo linear simples e SSE = ( ) 10 (8+1+1) g.l = /(299.33/10) X1X1 X 2 |X 1 X 3 |X 1,X 2 F=103.9/1 / ( )/9 12-k n-k-1

35 588/(299.33/10) X1X1 X 2 |X 1 X 3 |X 1,X 2 n-k-1

36 X1X1 X 2 |X 1 X 3 |X 1,X g.l. F=103.9/1 / ( )/9 12-k-1 Y = X X p X p + *X* + n-(p+1)-1 n- k-1 = p+1

37 X1X1 X 2 |X 1 X 3 |X 1,X g.l. n-k-1 p+1 SS(X 3 |X 1,X 2 ) = SSR (X 3 |X 1,X 2 ) = = SSE (X 3 |X 1,X 2 ) = = 0.24

38 O teste F para testar se existe uma regressão linear significante quando usa-se apenas X 1 = ALTURA para predição de Y é dada por: Para responder às perguntas 2 e 3, devemos usar o teste F parcial. Este teste avalia se a inclusão de uma variável independente específica, mantendo as já existentes no modelo, contribui significativamente para a predição de Y. O teste auxilia na exclusão de variáveis que não auxiliam na modelagem, mantendo o modelo mais parcimonioso preditores "importantes".

39 A hipótese nula - Teste parcial Incluir X* melhora significativamente a predição de Y (outros X's já estão no modelo)? H 0 : "X* NÃO melhora significativamente a predição de Y, dados X 1, X 2,...,X p existentes no modelo H 0 : * = 0 no modelo Y = X X p X p + *X* + O teste essencialmente compara 2 modelos: o completo e o reduzido O objetivo é determinar qual modelo é mais apropriado, baseado na informação adicional que X* fornece para Y, além da já fornecida por X 1, X 2,...,X p

40 O procedimento do teste Para realizar o teste F parcial, deve-se computar a soma dos quadrados extra pela adiçao de X*, que aparece na tabela ANOVA como SSR X*| X 1, X 2,...,X p Ou mais compactadamente: Como SSY = SSR + SSE, podemos também fazer: Soma dos quadrados Extra pela inclusão de X*, dados X 1, X 2,...,X p Soma dos quadrados da Regressão pela inclusão de X*, dados X 1, X 2,...,X p Soma dos quadrados da Regressão dados X 1, X 2,...,X p = - SS (X*| X 1, X 2,...,X p ) = SS Resíduo (X 1, X 2,...,X p ) - SS Resíduo (X 1, X 2,...,X p, X*) SS (X*| X 1, X 2,...,X p ) = SS Regressão (X 1, X 2,...,X p, X*) - SS Regressão (X 1, X 2,...,X p ) completo reduzido

41 Comparação de 2 modelos: completo e o reduzido Modelo completo: Y = X X p X p + *X* + Modelo reduzido: Y = X X p X p + H 0 : * = 0 n-k-1

42 Comparação de 2 modelos: completo e o reduzido H 0 : * = 0 SS(X 2 |X 1 ) = SSR(X 1,X 2 ) - SSR (X 1 ) = = SS(X 3 |X 1, X 2 ) = SSR(X 1,X 2, X 3 ) - SSR (X 1, X 2 ) = 693, = 0.24 SSE(completo) = F crítico =F 1,n-p-2,1- = F 1,9,0.95 = 5.12 não rejeita H 0 F 1,9,0.90 = 3.36 rejeita H 0 a um nível de 0.10

43 3. Teste F parcial múltiplo Testa a contribuição adicional de um conjunto de variáveis independentes na predição de Y. Testa a inclusão simultânea de 2 ou mais variáveis. Por exemplo, variáveis que tenham características em comum, e que seja importante testá-las em conjunto, como as variáveis de ordem superior a 1: (IDADE) 2, ALTURA X IDADE, (ALTURA) 2 Ou variáveis de termo de ordem superior, que correspondam ao produto de variáveis de 1a. ordem, como os termos de interação X 1 X 2, X 1,X 3, X 2 X 3. Muitas vezes é de interesse conhecer o efeito das interações em conjunto, antes de considerar cada termo individualmente. Este procedimento pode reduzir o trabalho de testes individuais, uma vez que variáveis podem ser retiradas do modelo em conjunto.

44 Hipótese nula Modelo completo: Y = X X p X p + * 1 X* 1 + * 2 X* * k X* k + Modelo reduzido: Y = X X p X p + H 0 : "X* 1, X* 2,..., X* k NÃO melhoram significativamente a predição de Y. H 0 : * 1 = * 2 =... = * k = 0

45 O procedimento Necessitamos calcular a soma dos quadrados EXTRA devida à inclusão dos X* i do modelo completo. SS(X* 1, X* 2,..., X* k |X 1, X 2,..., X p ) = SS Regressão (X 1, X 2,..., X p, X* 1, X* 2,..., X* k ) - SS Regressão (X 1, X 2,..., X p ) = SS Resíduo (X 1, X 2,..., X p ) - SS Resíduo (X 1, X 2,..., X p, X* 1, X* 2,..., X* k ) p k parâmetros

46 A estatística F:

47 Exemplo: Inclusão de idade no modelo que já tem ALTURA IDADE e IDADE 2. F crítico = F k,(n-p-k-1),1- = F 2, ),0.95 = F 2,8,0.90 = 4.46 F calculado menor que o F crítico não rejeita H 0

48 Testando a significância estatística do coeficiente parcial teste F parcial H 0 : r YX|Z1,...,Zp = 0 Exemplo: Para testar se r PESO,(IDADE) 2 |ALTURA, IDADE = 0, encontra-se F [(IDADE) 2 |ALTURA, IDADE ] e compara-se com F 1,12-2-2,0.90 = F 1,8,0.90 =3.46 MSE = SSE(X 3 |X 1,X 2 )/df = /(11-2-1) = /8= F calculado NÃO rejeita H0 --> (IDADE) 2 não contribui para a predição de PESO.

49 Modelo A: PESO = ALTURA + Modelo B: PESO = ALTURA + 2 IDADE +

50

51


Carregar ppt "Regressão Linear Múltipla Rejane Sobrino Pinheiro Tânia Guillén de Torres."

Apresentações semelhantes


Anúncios Google