MB751– Modelos de Previsão Prof. Carlos H. C. Ribeiro carlos@ita.br tel. (012) 3947 5895 www.comp.ita.br/~carlos sala 106 IEC

Aula 2 Introdução a modelos de regressão Estimadores e suas propriedades Modelos de regressão a duas variáveis (cont.) Teorema Gauss-Markov

Regressão linear a duas variáveis Uma variável independente X Uma variável dependente Y Uma relação (desconhecida, mas assumida linear) entre as variáveis (Y depende de X) Um conjunto de observações de valores de X e respectivos valores de Y (amostras). Objetivo: achar uma função linear que melhor se ajuste aos dados X, Y disponíveis

Revisitando o exemplo 1 Y (nota média do vestibular) 8.0 6.0 7.0 4.0 5.0 X (salário mensal dos pais em R$1.000,00) 21 15 9 12 18 6

Revisitando o exemplo 1: possíveis ajustes (1) Possibilidade 1: unir o ponto de menor valor de X ao ponto de maior valor de X Qual é o problema com este método?

Revisitando o exemplo 1: possíveis ajustes (2) Possibilidade 2: achar uma boa reta no “olhômetro” Qual é o problema com este método?

Revisitando o exemplo 1: possíveis ajustes (3) Possibilidade 3: achar uma reta que zera a soma dos erros Qual é o problema com este método? + + - + - - - -

Revisitando o exemplo 1: possíveis ajustes (4) Possibilidade 4: Achar a reta que fornece o menor erro quadrático (erro2) em relação aos dados. Vantagens: Penaliza de modo igual erros “para menos” e erros “para mais” Penaliza mais erros grandes do que erros pequenos Existe um procedimento computacional para achar esta reta: o método dos mínimos quadrados

Regressão linear: mínimos quadrados Objetivo: achar a relação linear de dependência de Y em relação a X através da equação da reta tal que a soma: no. de dados dado ponto da reta é mínima.

Regressão linear: mínimos quadrados

Exemplo 2: revisitando o exemplo 1

Exercício 1 Você é um secretário do BC de um certo país. Seu assessor lhe passa os seguintes dados históricos, relativos à quantidade de dinheiro disponível e renda nacional, em milhões de US$: Ano Qtde dinheiro Renda nacional 1993 2,0 5,0 1994 2,5 5,5 1995 3,2 6,0 1996 3,6 7,0 1997 3,3 7,2 1998 4,0 7,7 1999 4,2 8,4 2000 4,6 9,0 2001 4,8 9,7 10,0 Represente os pontos em um diagrama de dispersão. Estime e plote a regressão linear. Se você tivesse controle sobre a quant. de dinheiro disponível e desejasse uma renda nacional de US$ 12.000.000,00 em 2003, em que nível você posicionaria a quant. de dinheiro? Explique. Exercício 1

Conceitos básicos de Estatística Já vistos em outro curso. Recomenda-se revisar os conceitos de: Variável aleatória Valor esperado e variância Distribuições conjuntas de probabilidade Covariância Independência Distribuições de probabilidade mais importantes: Normal, 2, t, F

Estimadores Estimação = definir valor de uma grandeza  com base em N amostras desta. Exemplo 1a: Qual é a idade média dos alunos de MB751? Grandeza a estimar: idade média  da turma. Um estimador deve prover um valor aproximado com base em um conjunto restrito de amostras. Para o valor médio de uma distribuição, um estimador “razoável” deve ser a média da amostra. Exemplo 1b: Qual é a variância das idades dos alunos de MB751? Grandeza a estimar: variância 2 das idades da turma. Para a variância de uma distribuição, um estimador “razoável” deveria ser a variância da amostra. Exemplo 3

Características desejáveis dos estimadores (1) Note que o próprio valor retornado por um estimador depende da amostra, ou seja: é uma variável aleatória! Preciso então definir algumas características desejáveis do estimador: Não-tendenciosidade: O valor esperado do estimador deve ser igual ao valor da grandeza: A média da amostra é estimador não-tendencioso da média da população: A variância da amostra não é estimador não-tendencioso da variância da população: Mas:

Características desejáveis dos estimadores (2) Eficiência: Um estimador não-tendencioso é dito absolutamente eficiente se, para um dado tamanho da amostra, sua variância for menor que a de qualquer outro estimador não-tendencioso: Normalmente, um estimador pode ou não ser absolutamente eficiente, dependendo da distribuição. O que usamos mais é o conceito de eficiência relativa: um estimador não- tendencioso é dito relativamente mais eficiente do que outro se sua variância for menor.

Exemplo Seja o estimador para a média de uma distribuição: ou seja, ou seja, M1 sorteia dois elementos da amostra (X1 e X2) e calcula uma média ponderada destes. M1 é não-tendencioso? ou seja, M2 é um professor rigoroso: soma N notas e divide por N+1 para calcular uma nota final... M2 é não-tendencioso?

Características desejáveis dos estimadores (3) Erro quadrático médio mínimo (MMSE): Um bom compromisso entre não- tendenciosidade e eficiência!

Exemplo 4 Sejam os estimadores para a média de uma distribuição: Qual dos dois é melhor, pelo critério MMSE? Exemplo 4

Características desejáveis dos estimadores (4) Consistência: Um estimador é consistente se, a medida que a amostra cresce, o valor estimado vai convergindo para o valor verdadeiro.

Voltando ao nosso modelo... Para um dado valor de X, é possível que exista mais de um valor de Y. Exemplo: Padrão de consumo de um indivíduo que recebe R$ 30.000,00/ano. Possíveis causas de variação da parcela associada a alimentação: Mudanças de hábito espontâneas (e.g. dieta) Mudanças de hábito forçada (e.g. menos tempo para almoço devido à demanda profissional) Sazonalidade (chocolates na Páscoa, panetone no Natal, etc.)

O modelo Uma reta no plano X-Y: Modelando a variação: Y: variável aleatória X: fixa ou não-estocástica (conhecida) : erro aleatório (baseado em uma distribuição de probabilidade)

O modelo: por que um “erro aleatório”? Em modelos matemáticos, o erro aleatório é sempre usado para modelar a ignorância. Em Econometria, a ignorância relaciona-se com: Simplificação excessiva, e.g. considerar preço como único determinante de uma demanda, ignorando causas secundárias (gostos, renda da população, etc.). Erros não-modelados na obtenção e medida dos dados Para cada valor de X, uma distribuição de probabilidade para . Logo: uma distribuição de probabilidade para Y.

Modelo estocástico: representação gráfica Para cada valor de X, uma distribuição de probabilidade para . Logo: uma distribuição de probabilidade para Y. Probabilidade Y . Y3 . Y2 . Y1 X1 X2 X X3 24

Formulação homoscedástica do modelo de regressão linear a duas variáveis Y: variável aleatória X: fixa ou não-estocástica (conhecida) : erro aleatório (baseado em uma distribuição de probabilidade) com: Valor esperado nulo e variância constante, independentemente das observações: E[i] = 0, Var[i] = 2 Erros de observações sucessivas não são correlacionados: E[i j] = 0 Distribuição normal

Heteroscedasticidade e autocorrelação do erro Heteroscedasticidade: erro com variância variável, dependente das observações: E[i] = 0, Var[i] = i2 Autocorrelação: erros de observações sucessivas correlacionadas: E[i j]  0 Ilustração de alguns exemplos

O modelo estocástico e a regressão linear Vimos um procedimento para achar a melhor reta que modela uma relação linear entre variáveis X e Y: Mínimos Quadrados. Mas agora, a relação é probabilística: para um dado X, posso ter mais de um Y. A reta agora pode variar. O que fazer? Exemplo 5

Teorema Gauss-Markov O “^” sobre a e b indica que estes agora devem ser estimadores de a e b. E o que quero, como sempre são bons estimadores: não-tendenciosos e eficientes. A boa notícia é o TEOREMA GAUSS-MARKOV: o método dos mínimos quadrados produz estimadores de a e b que são BLUE: best linear unbiased estimator.

BLUE Linear na variável independente (X) Estimador O mais eficiente (menor variância) Não-tendencioso

Atividade 1 (Manhã) Um estudo sobre empresas objetiva determinar a variação dos custos operacionais em função do tamanho destas. Três análise foram conduzidas independentemente, sendo produzidos os resultados ilustrados nas tabelas abaixo: Estudo 1 a) Estudo 2 Estudo 3 Empresa 1 Empresa 2 Empresa 3 Empresa 4 Empresa 5 Custos (em US$1000,00) 3,0 4,5 7,0 11,0 15,0 Represente os pontos em um diagrama de dispersão. Existe heteroscedasticidade? Justifique. Estime e plote a regressão linear para cada análise realizada. Calcule a média e variância das estimativas para os coeficientes a e b da regressão. Empresa 1 Empresa 2 Empresa 3 Empresa 4 Empresa 5 Custos (em US$1000,00) 3,2 4,0 9,0 14,0 20,0 Empresa 1 Empresa 2 Empresa 3 Empresa 4 Empresa 5 Custos (em US$1000,00) 2,9 5,0 5,5 8,0 26,0