Análise da Regressão múltipla: Inferência Revisão da graduação

Hipóteses do modelo linear clássico (CLM) Sabemos que, dadas as hipóteses de Gauss-Markov, MQO é BLUE. Para realizarmos os testes de hipóteses clássicos, precisamos acrescentar mais uma hipótese. Vamos supor que u é independente de x1, x2,…, xk e que u e normalmente distribuído com média zero e variância s 2: u ~ Normal(0,s 2).

Hipóteses do CLM (cont.) Sob CLM, MQO é não apenas BLUE, mas também o estimador não-viesado de variância mínima. Podemos resumir as hipóteses do CLM como: y|x ~ Normal(b0 + b1x1 +…+ bkxk, s 2) Embora assumamos normalidade, nem sempre ela se verifica. Em grandes amostras, a hipótese de normalidade não é necessária.

. . Uma distribuição normal homocedástica com uma única variável explicativa y f(y|x) . E(y|x) = b0 + b1x . Distribuições normais x1 x2

Distribuição normal amostral

O teste t

O teste t (cont.) O conhecimento da distribuição amostral dos estimadores nos permite fazer testes de hipóteses. Comece com a hipótese nula. Por exemplo, H0: bj=0 Se aceitamos a nula, aceitamos que xj, após controlarmos pelos outros x’s, não tem efeito em y.

O teste t (cont.)

Teste t: caso unicaudal Além de nossa, H0, precisamos de uma hipótese alternativa, H1, e um nível de significância. H1 pode ser unicaudal ou bicaudal. H1: bj > 0 e H1: bj < 0 são unicaudais. H1: bj  0 é bicaudal. Se queremos apenas 5% de probabilidade de rejeitar H0 caso ela seja, então dizemos que nosso nível de significância é de 5%.

Alternativa unicaudal (cont.) Escolhido um nível de significância, a, olhamos no (1 – a)-ésimo percentil na distribuição t com n – k – 1 df e chamamos esse valor, c, de valor crítico. Rejeitamos a hipótese nula se a estatística t é maior que o valor crítico. Se a estatística t for menor que o valor crítico, então não rejeitamos a nula.

Alternativa unicaudal (cont.) yi = b0 + b1xi1 + … + bkxik + ui H0: bj = 0 H1: bj > 0 Não rejeitamos Rejeitamos (1 - a) a c

Uni vs bicaudal Como a distribuição t é simétrica, testar H1: bj < 0 é direto. O valor crítico é simplesmente o negativo do anterior. Rejeitamos a nula se t < –c; se t > –c, então não rejeitamos a nula. Para um teste bicaudal, escolhemos um valor crítico baseado em a/2 e rejeitamos H1: bj  0 se o valor absoluto da estatística t for > c.

Alternativa bicaudal yi = b0 + b1Xi1 + … + bkXik + ui H0: bj = 0 H1: bj ≠ 0 Não rejeitamos Rejeitamos Rejeitamos (1 - a) a/2 a/2 -c c

Resumo de H0: bj = 0 A menos que seja explicitado ao contrário, estaremos considerando a alternativa bicaudal. Se rejeitamos a nula, dizemos que “xj é estatisticamente significante ao nível de a%” Se não rejeitamos a nula, dizemos “xj é estatisticamente não significativo ao nível de a %”

Testando outras hipóteses Podemos generalizar a estatística t testando H0: bj = aj . Neste caso, a estatística t é dada por

Intervalos de confiança Outra forma de usar os procedimentos clássicos de teste de hipóteses é construindo um intervalo de confiança utilizando o mesmo valor crítico do teste bicaudal. Um intervalo de confiança de (1 - a) % é definido por:

Calculando o p-valor do teste t Uma alternativa ao procedimento clássico de teste é perguntar: “qual é o menor nível de significância ao qual a nula seria rejeitada?” Calcule a estatística t, e olhe em que percentil ela está na distribuição t apropriada – este é o p-valor. O p-valor é a probabilidade de observarmos valores iguais ou maiores (em valor absoluto) à estatística t obtida se a nula for verdadeira.

P-valores, testes t´s etc. A maioria dos pacotes calcula o p-valor, assumindo um teste bicaudal. Se se estiver interessado na alternativa unicaudal, basta dividir o p-valor reportado por 2.

Testando uma combinação linear Ao invés de testar se b1 é igual a uma constante, podemos testar que ele é igual a outro parâmetro, ou seja, H0 : b1 = b2. Use o mesmo procedimento para calcular a estatística t

Testando uma combinação linear (cont.)

Testando uma combinação linear (cont.) Então, precisamos de s12. Muitos pacotes, como o Eviews, fornecem essa estatística. Mas o Eviews tem uma opção que permite fazer o teste automaticamente. O teste pode ser reescrito, conforme mostrado a seguir.

Exemplo: Suponha que você esteja interessado nos efeitos dos gastos de campanha no resultado das eleições. O modelo é votoA = b0 + b1log(gastoA) + b2log(gastoB) + b3prtystrA + u H0: b1 = - b2, ou H0: q1 = b1 + b2 = 0 b1 = q1 – b2; substituindo e rearranjando  votoA = b0 + q1log(gastoA) + b2log(gastoB - gastoA) + b3prtystrA + u

Exemplo (cont.): É o mesmo modelo, mas agora você tem um erro padrão para b1 – b2 = q1 diretamente da regressão. Qualquer combinação linear de parâmetros pode ser testada de forma similar. Outros exemplos de testes de hipóteses sobre uma única combinação linear de parâmetros: b1 = 1 + b2 ; b1 = 5b2 ; b1 = -1/2b2; etc

Múltiplas restrições lineares Os exemplos anteriores eram de uma única restrição linear (p.e. b1 = 0 or b1 = b2 ) Mas também podemos testar conjuntamente múltiplas hipóteses sobre os parâmetros. Um exemplo é do “restrição de exclusão” – queremos testar se um grupo de parâmetros é igual a zero.

Teste de restrição de exclusão Agora, a hipótese nula é algo do tipo H0: bk-q+1 = 0, ... , bk = 0 A alternativa é H1: H0 é falsa, ou seja, pelo menos um dos b´s é diferente de zero. Não podemos apenas fazer cada teste t isoladamente, porque queremos saber se os q parâmetros são conjuntamente significativos a um certo nível – é possível que nenhum seja individualmente significante a este nível.

Teste de restrição de exclusão (cont.) O teste é feito estimando o “modelo restrito” sem xk-q+1,, …, xk, assim como o “modelo irrestrito” com todos os x’s. Intuitivamente, queremos saber se xk-q+1,, …, xk causam uma variação suficientemente grande na SSR

A estatística F A estatística F é sempre positiva, uma vez que a SSR do modelo restrito não pode ser menor que a do modelo irrestrito. A estatística F statistic mede o crescimento relativo na SSR quando se passa do modelo irrestrito para o modelo restrito. q = número de restrições, ou dfr – dfur n – k – 1 = dfur

A estatística F (cont.) Para decidir se o aumento na SSR é “grade o suficientes” para rejeitar as exclusões, precisamos conhecer a distribuição amostral de nossa estatística F. Não é de se surpreender que F ~ Fq,n-k-1, onde q é o número de graus de liberdade do numerador e n – k – 1 é o número de graus de liberdade do denominador.

A estatística F (cont.) f(F) Rejeita H0 ao nível de significância a se F > c Não rejeita Rejeita (1 - a) a c F

A estatística F em função do R2 Podemos usar o fato de que, em qualquer regressão, SSR = SST(1 – R2) e substituir na fórmula:

Significância da regressão Um caso especial é o teste H0: b1 = b2 =…= bk = 0. Como o R2 do modelo com apenas o intercepto será zero, a estatística F será simplesmente:

Restrições lineares gerais A forma básica da estatística F é válida para qualquer restrição linear. Primeiro estime os modelos irrestrito e restrito. Em cada caso, anote a SSR e substitua na fórmula.

Exemplo: O modelo is votoA = b0 + b1log(gastoA) + b2log(gastoB) + b3prtystrA + u. Agora a nula é H0: b1 = 1, b3 = 0. Substituindo a restrição: votoA = b0 + log(gastoA) + b2log(gastoB) + u. Agora votoA - log(gastoA) = b0 + b2log(gastoB) + u é o modelo restrito.

Estatística F: Resumo Da mesma forma que no teste t, o p-valor pode ser calculado olhando no percentil da distribuição F apropriada. Se apenas uma exclusão está sendo testada, então F = t2 e o p-valor será o mesmo.