Análise de Regressão Múltipla

Apresentação em tema: "Análise de Regressão Múltipla"— Transcrição da apresentação:

1 Análise de Regressão Múltipla
y = b0 + b1x1 + b2x bkxk + u Inferência Letícia e Idilio

2 Hipóteses do Modelo Linear Clássico (MLC)
Dadas as hipóteses de Gass-Markov, o estimador de MQO é “BLUE”. Afim de aplicar os testes de hipóteses clássicos, uma nova hipótese é adicionada ao modelo (além das suposições de Gauss-Markov): Assumir que u é independente de x1, x2,…, xk e u segue distribuição normal com média igual a 0 e variância s2. Ou seja, u ~ Normal(0,s2).

3 Hipóteses do MLC (cont.)
Considerando as hipóteses do MLC, o estimador de MQO não somente é “BLUE”, como também o estimador não-viesado de menor variância. As hipóteses do MLC podem ser resumidas por: y|x ~ Normal(b0 + b1x1 +…+ bkxk, s2). Há casos em que a hipótese de “normalidade” não é verdadeira (neste momento, não serão considerados).

4 . . Exemplo de normal homoscedástica com uma variável independente. y
f(y|x) . E(y|x) = b0 + b1x . Normais x1 x2

5 Distribuições amostrais Normais

6 Testes de Hipóteses sobre um único parâmetro: Teste t
Lembrando, modelo populacional pode ser escrito como: y =b0 + b1x1 +…+ bkxk + u A idéia é construir hipóteses sobre o valor de bj Utilizar inferência estatística para testar nossa hipótese.

7 O Teste t

8 O Teste t (cont.) Saber essa distribuição amostral do estimador padrão permite que sejam feitos testes de hipóteses que envolvem bj. Começar pela hipótese nula, que é a mais utilizada. H0: bj=0. Dizer que bj=0 significa que xj não tem efeito em y, controlando os demais x’s.

9 O Teste t (cont.) Ex: log(salarioh)= b0 + b1 educ + b2 exper + b3 perm + u A hipótese nula H0: b2 =0 significa que, se a educação formal e a permanência foram consideradas, o número de anos no mercado de trabalho (exper) não tem nenhum efeito sobre o salário.

10 Teste t: Hipóteses alternativas
Além da hipótese nula H0, é necessária uma hipótese alternativa H1 e um nível de significância. H1 pode ser unilateral ou bilateral. H1: bj > 0 e H1: bj < 0 são unilaterais. H1: bj  0 é a alternativa bilateral.

11 Escolha do nível de significância
Nível de significância: probabilidade de rejeitar erroneamente Ho quando ela é verdadeira. Se o desejável é ter somente 5% de probabilidade de rejeitar H0 quando ela for verdadeira, então é dito que o nível de significância é de 5%.

12 A estatística t Para determinar se uma hipótese nula H0 deve ser rejeitada usaremos regras de rejeição junto com a estatística t.

13 Alternativas unilaterais
Por exemplo, escolhendo um nível de significância 5%, procura-se pelo 95º percentil em uma distribuição t com n – k – 1 graus de liberdade. Este valor é chamado de c (valor crítico). Se t > c => a hipótese nula será rejeitada. Se t < c => não é possível rejeitar a hipótese nula.

14 Alternativas unilaterais (cont.)
yi = b0 + b1xi1 + … + bkxik + ui H0: bj = H1: bj > 0 Não-rejeitada Rejeitada (1 - a) a c

15 Exemplo: Retomando o exemplo do salário:
log(salarioh)= b0 + b1 educ + b2 exper + b3 perm + u log(salarioh)=0,284 +0,092 educ +0,0041exper +0,022 perm n= (0,104) (0,007) (0,0017) (0,003) Ho: b2= H1: b2>0 gl: 526-4= nível de significância: 1% => c=2,326 t = 0,0041/ 0,0017 =2,41 > 2,326 Logo, exper é estatisticamente significante ao nível de 1%, rejeitamos então H0.

16 Unilateral X bilateral
Sendo a distribuição t simétrica, testar H1: bj < 0 é trivial. O valor crítico é o negativo do valor anterior. Rejeita-se a hipótese nula se o valor da estatística t < –c. Para o caso bilateral, o valor crítico será a/2 e rejeita-se H0: bj = 0 (em favor de H1: bj ≠ 0) se |t| > c.

17 Alternativa Bilateral
yi = b0 + b1Xi1 + … + bkXik + ui H0: bj = H1: bj ≠ 0 Não-rejeitada Rejeitada Rejeitada (1 - a) a/2 a/2 -c c

18 Testando outras hipóteses
Uma forma mais geral da estatística t pode ser escrita para verificar hipóteses do tipo H0: bj = aj Neste caso, a seguinte estatística t deve ser usada: Exemplo

19 Calculando os “p-valores” para testes t
Uma alternativa à abordagem clássica é perguntar: “qual o menor nível de significância no qual a hipótese nula pode ser rejeitada?” Para isto, calcule o valor da estatística t e procure em qual percentil ele se encontra em uma tabela com a distribuição t apropriada. Este será o “p-valor”. O “p-valor” é a probabilidade de observar-se o valor da estatística t, se a hipótese nula for verdadeira.

20 Calculando os “p-valores” para testes t

21 Significância x Importância
Normalmente, cria-se a hipótese antes de conhecer os dados. No caso de amostras pequenas, o erro tende a ser maior (mais difícil de rejeitar H0). Nestes casos é normal aumentar o nível de significância.

22 Intervalos de confiança
Outra forma de utilizar os testes clássicos da estatística é construir um intervalo de confiança usando o mesmo valor crítico do teste bilateral. Um intervalo de confiança de (1 - a)% pode ser definido como:

23 Intervalos de confiança
Interpretação: Se criarmos intervalos de confiança em várias amostrar aleatórias, o valor real de bj estará contido no intervalo em (1 - a)% dos intervalos criados. Por azar, justamente na amostra que você tinha disponível, bj não estava contido no intervalo (o intervalo está errado). Isso ocorrerá em a% dos casos.

24 Stata: p-valores, testes t etc.
A maioria dos programas estatísticos computam os p-valores assumindo o teste bilateral. Se for o caso de um teste unilateral, basta dividir o p-valor do teste bilateral por 2. O Stata gera a estatística t, o p-valor e o intervalo de confiança de 95% para H0: bj = 0, nas colunas nomeadas “t”, “P > |t|” e “[95% Conf. Interval]”. Exemplo 4.7

25 Testando uma combinação linear
Suponha que ao invés de testar se b1 é igual a uma constante, deseja-se testar se b1 é igual a outro parâmetro, isto é H0 : b1 = b2. Use o mesmo procedimento para criar a estatística t:

26 Testando uma combinação linear

27 Testando uma combinação linear
O cálculo de s12 é complicado. Alguns softwares terão uma opção para calculá-lo ou para executar o teste automaticamente, mas nem todos. Mas.... Há uma alternativa muito mais fácil, basta reorganizar o problema para obter o teste na forma necessária.

28 Exemplo: Suponha que queremos comparar se um ano de curso superior profissionalizante é equivalente a um ano de universidade (no salário). log(salário) =b0 + b1cp + b2univ + b3exper + u H0: b1 = b2 e H1: b1 < b2 Fazendo H0: q1 = b1 - b2 b1 = q1 + b2, substituindo e rearranjando: log(salário) =b0 + (q1 + b2) cp + b2univ + b3exper + u

29 Exemplo: log(salário) =b0 + (q1 + b2) cp + b2 univ + b3 exper + u log(salário) =b0 + q1 cp + b2 (cp +univ) + b3 exper + u log(salário) =b0 + q1cp + b2totalgrad + b3exper + u => Notar que agora q1 aparece explicitamente e ep(q1) é calculado junto com as demais estimativas. log(salário) =1, ,0102 cp + 0,0769 totalgrad+ 0,0049 exper (0,021) (0,0069) (0,0023) (0,0002) O modelo modificado é igual ao original, mas agora tem-se diretamente na saída da regressão o ep(q1).

30 Exemplo (cont.): Qualquer combinação linear das parâmetros pode ser testado de maneira similar. Outros exemplos de hipóteses sobre combinações lineares simples dos parâmetros: b1 = 1 + b2 ; b1 = 5b2 ; b1 = -1/2b2

31 Restrições Lineares Múltiplas
Tudo apresentado até aqui envolvia apenas o teste de uma única restrição: (i.e. b1 = 0 ou b1 = b2 ). Porém, pode-se querer testar várias hipóteses sobre os parâmetros em conjunto. Um exemplo típico é testar “restrições excludentes” – um grupo de parâmetros é todo igual a zero.

32 Restrições Excludentes
A hipótese nula agora será algo como: H0: bk-q+1 = 0, ... , bk = 0 A alternativa é H1: “H0 não é verdadeira”. Porque não analisar somente a estatística t de cada parâmetros em separado? Porque desejamos saber se os q parâmetros são conjuntamente significantes dado um nível de significância – é possível que nenhum seja significante no nível desejado (e que o grupo seja).

33 Restrições Excludentes (cont.)
É necessário estimar: “modelo irrestrito” com todas variáveis x1,, …, xk incluídas. “modelo restrito” sem as variáveis xk-q+1,, …, xk Queremos verificar se as mudanças em SQR são grandes suficientes para justificar a inclusão de xk-q+1,, …, xk no modelo. Onde: r é o modelo restrito q = números de restrições, ou glr – glir ir é o irrestrito n – k – 1 = glir

34 A estatística F É sempre positiva, dado que sempre SQR do modelo restrito >= SQR do modelo irrestrito. Essencialmente, é uma medida do crescimento relativo de SQR quando saímos do modelo irrestrito para o modelo restrito. Se o crescimento de SQR, quando mudamos de modelo, for “grande o suficiente” podemos rejeitar a exclusão das variáveis.

35 A estatística F (cont.) f(F)
Rejeite H0 com nível de significância a se F > c Não-rejeitada Rejeitada (1 - a) a c F

36 Exemplo: Modelo original (irrestrito):
log(salário) =b0 + b1anos + b2jogosanos + b3medreb + b4rebpontos+ b5rebcorrida+ u n= SQR=183,186 Testar se as estatísticas que medem desempenho: medreb, rebpontos e rebcorrida não tem efeito sobre salário => Ho=b3=0, b4=0, b5 =0 Modelo restrito: log(salário) =b0 + b1anos + b2jogosanos +u n= SQR=198,311

37 Exemplo(cont.): Assim:
Com 347 graus de liberdade, o valor crítico a 1% de significância é c= 3,78 F > 3,78, portanto rejeitamos completamente a hipótese de que medreb, rebpontos e rebcorrida não tem efeito sobre salário .

38 A forma R2 da estatística F
Dado que os SQRs dos modelos podem ser grandes e de manipulação difícil, uma alternativa de formulação é útil neste caso. Usando o fato que SQR = SQT(1 – R2) para qualquer regressão, pode-se substituir SQRr e SQRir

39 Significância completa
Um caso especial de restrições excludentes é testar H0: b1 = b2 =…= bk = 0 Dado que o valor R2 de um modelo somente com intercepto será zero, o valor da estatística F é simplificado para:

40 Restrições Lineares Gerais
A forma básica da estatística F funcionará para qualquer conjunto de restrições lineares. Inicialmente, estime o modelo irrestrito e então estime o modelo restrito. Em cada caso, guarde o valor de SQR. Impor as restrições pode ser complicado, será necessário redefinir as variáveis novamente. Não usar a versão R2 neste caso.

41 Exemplo: Gastos implicam votos?
O modelo: voteA = b0 + b1log(expendA) + b2log(expendB) + b3prtystrA + u H0: b1 = 1, b3 = 0 Substituindo as restrições: voteA = b0 + log(expendA) + b2log(expendB) + u Usa-se: voteA - log(expendA) = b0 + b2log(expendB) + u como modelo restrito.

42 Resumo da estatística F
Assim como no caso da estatística t, os p-valores podem ser calculados procurando o percentil na tabela da distribuição F adequada. O Stata gerará estes valores com o comando: “display fprob(q, n – k – 1, F)” onde os valores apropriados de “F”, “q” e “n – k – 1” devem ser usados. Se somente uma exclusão está sendo testada, então F = t2 e os p-valores serão exatamente os mesmos.