Estatística Aplicada e Experimentação J M Fernandes

Conceitos Básicos Definição de estatística: Tipos de variáveis Distribuição de probabilidades

Conceitos Básicos Estatística: A ciência de coletar, organizar e interpretar dados –Coleta de dados. –Análise de dados - organizar e resumir os dados destacando os pontos mais importantes e mostrando a estrutura. –Inferência e teoria da decisão – extrair a informação embutida nos dados podendo ser usada como guia nas próximas ações.

Conceitos Básicos –População: O grupo inteiro de indivíduos que queremos obter informação. –Amostra: Uma parte da população que queremos examinar para obter a informação. –Tamanho da amostra: número de observações em uma amostra. –Inferência estatística: Tirar conclusões sobre a população considerando a informação obtida da amostra.

Conceitos Básicos Os dados contêm: –Indivíduos : Objetos descrito pelos dados; –Variável: qualquer característica de um indivíduo. Uma variável pode assumir diferentes valores para diferentes indivíduos. –Uma variável categórica coloca o indivíduo em um dos vários grupos de categoria. –Uma variável quantitativa assume valores numéricos para os quais é possível realizar operações aritméticas como soma e média, por exemplo.

Tipos de dados A interpretação das listas de números a olho é muito difícil. Ao invés disso, nós deveríamos produzir um resumo verbal ou numérico e/ou usar métodos gráficos para descrever os pontos principais dos dados. O método mais apropriado dependerá da natureza dos dados. Dados qualitativos ou categóricos –nominais sexo: masculino, feminino classificação de fósseis –ordinais salinidade: baixa, média, alta abundância: dominante, abundante, freqüente, ocasional, raro Dados quantitativos ou numéricos: –discretos número de ovos postos pela tartaruga marinha número de ataques de asma no ano passado –contínuos volume, área, peso, massa velocidade de corrente

Distribuição das Variáveis –Uma distribuição de variáveis indica que valores a variável assume e com que freqüência. –Para uma variável categórica, distribuição: categorias + contagem/percentagem para cada categoria –Para uma variável quantitativa, distribuição: padrão de variação dos seus valores

Examinando a distribuição Padrão Geral –Formato Técnicas gráficas para visualizar distribuições –Gráfico de Barra –Torta –Ramos e Folhas –Histograma Modas: picos na distribuição. –Unimodal ou Bimodal Simétrica ou enviesada (direita/esquerda)?

Examinando a distribuição –Centro Média –Fácil de calcular –Fácil de manipular algebricamente –Altamente influenciada por pontos for a do comum –Media não resistente Mediana –Pode tomar tempo para calcular –Mais resistente a influência de extremos –robusta Moda, Média e Mediana –Posição relativa para enviesada/simétrica distribuição. –Qual usar?

Examinando a distribuição –Dispersão Desvio Padrão e Variância –Definição e cálculo –Soma sempre 0 –Porque (n-1)? Quartils –Definição e cálculo –AIQ –Regra para identificar extremos fora do comum –Os cinco - números para resumo –Boxplots (Diagramas de caixa) –Comparação com histogramas e gráficos de ramos e folhas Amplitude, AIQ, D.P.

Examinando a distribuição Desvios Fora do comum: Valores localizados for a do padrão geral. –AIQ pode ajudar a identificar pontos for a do comum –Boxplots modificados –Estratégias Detectar, investigar a causa, corrigir, ou eliminar, ou dar especial atenção. Usar métodos mais resistentes como a mediana para reduzir a influência de extremos for a do comum.

Transformação Linear forma: X*=a+bX Seus efeitos no formato, centro e dispersão

Análise Exploratória de Dados Uma Introdução ao R

Exemplo y<-c(8,9,3,4,5,5,6,7,11,1,11,20,5,5,6,7,8,9,11,3)

Leitura de um arquivo de dados em formato texto Há dois comandos principais para ler uma base de dados em formato texto: scan e read.table. Normalmente, usa-se o comando scan quando a base de dados contém os valores de uma única variável. Para bases de dados multivariadas, contendo diversas variáveis, o comando read.table é mais adequado pois a estrutura dos dados lidos será a de uma matriz onde as colunas representarão cada variável da base.

Exemplo dados<-read.table(“c:/stat_2007/dados/estatura.txt”,header=T) O argumento header=T, no comando acima, serve para informar que o tipo de informação que será lida tem um cabeçalho com o nome das variáveis. Problema: Descrever estes dados numa tabela de freqüências e representá-los graficamente usando o R.

Comando sort Você pode ordenar a informação na base dados usando o comando sort que rearruma as informações de maneira ordenada. No caso destes dados ele usa a ordem alfabética como chave. Você ainda pode escolher se deseja ordem crescente (default) ou decrescente, acrescentando o argumento decreasing=T. sort(dados)

Salvando a área de trabalho do R Você pode salvar sua área de trabalho, caso ainda vá trabalhar nela. Vamos fechar esta primeira aula salvando nosso trabalho em um disquete. save.image(“a:/aulaR1.RData") Assim na próxima seção do R onde os mesmos dados serão trabalhados, bastará executar o comando load(“a:/aulaR1.RData")

Distribuições Probabilísticas

Histograma Um dos método mais comum de apresentação de dados numéricos é o histograma, relacionado com o gráfico de barras para dados categóricos. As áreas dos retângulos resultantes devem ser proporcionais à freqüência. x <-rnorm(345,165,10) hist(x, col="red",ylab="Frequência",main="Distribuição de altura entre os alunos")

Terminologia Um processo estocástico é descrito por variáveis aleatórias e as suas distribuições probabilísticas.

Variáveis aleatórias O termo aleatório infere incerteza Sejam E um experimento e S o espaço associado ao experimento. Uma função X, que associe a cada elemento s  S um número real X(s) é denominada variável aleatória.X Variável Aleatórias X(s)SR Exemplo : E: lançamento de duas moedas; X: nº de caras obtidas nas duas moedas; S={(c,c), (c,r), (r,c),(r,r)} X=0  corresponde ao evento (r,r) com probabilidade ¼ X=1  corresponde ao evento (r,c), (c,r) com probabilidade 2/4 X=2  corresponde ao evento (c,c) com probabilidade ¼. X Variável Aleatória s X(s) S R

Variáveis aleatórias Uma variável aleatória X, é uma etiqueta associada a um evento aleatório A. Uma variável aleatória pode ser usada para descrever o processo de rolar um dado não viciado e os possíveis resultados (1,2,3,4,5,6). Uma outra variável aleatória poderia descrever os possíveis resultado de escolher uma pessoa ao acaso e determinar a altura. Diferente de variáveis matemáticas, uma variável aleatória não pode ter designado um valor. É uma função que traduz as possíveis saídas como números. Variáveis aleatórios tem a notação (X,Y,Z...) Valores específicos ou instâncias das variáveis aleatórias assumem a notação (x,y,z....).

Variáveis aleatórias As variáveis aleatórias podem ser categóricas ou discretas ou contínuas Uma variável discreta -> Distribuição de probabilidade Uma variável contínua -> Função de distribuição de probabilidades

Variáveis aleatórias e Distribuição de Probabilidades Registrando todas as possibilidades de variável aleatória X resulta na probabilidade de distribuição de X Distribuição de Probabilidade A distribuição de probabilidade de uma variável discreta X é uma função que calcula a probabilidade p(x i )que a variável aleatória seja igual a xi, para cada valor de x i : p(x i )=P(X=x i ) F x (X) probabilidade da variável aleatória X assumir o valor de x i

Conceito de Probabilidade Proporção de tempo onde espera-se que o resultado seja conforme o desejado, antes de realizar o experimento Probabilidade de um evento= Ocorrências/ total possível de ocorrências Freqüência relativa Proporção de tempo que um evento do mesmo tipo irá ocorrer ao longo prazo

Probabilidade da variável aleatória assumir um valor no intervalo Se y é discreto Se y é contínuo Probabilidade Y assumir valores no Intervalo de a e b Densidade de probabilidade no Intervalo de a e b

Distribuição Cumulativa de Probabilidades Probabilidade de Y assumir qualquer valor menor ou igual a y, para cada valor de y Se Y for discreto Se Y for contínuo

Distribuição Cumulativa e Função de Distribuição de Probabilidades Exemplo:

Exemplo Caso discreto: xixi P(x i )1/325/3210/32 5/321/32 xixi P(x i )1/326/3216/3226/3231/3232/32 Distribuição de Probabilidade Distribuição Cumulativa de Probabilidade

Exemplo par(mfrow=c(2,1)) # DP x1 <-c(1,5,10,10,5,1) x1 <-x1/32 z <-barplot(x1,ylim=c(0,max(x1)*1.2), col="red") text(z,x1+.02,x1) # FDP x2 <-c(1,6,16,26,31,32) x2 <-x2/32 z2 <-plot(x2,ylim=c(0,1),type="l",lwd=3, col="red")

Esperança matemática de uma variável aleatória As distribuições de probabilidade é geralmente caracterizada um pequeno número de parâmetros. Em geral é suficiente conhecer a “média”. Esta pode ser obtida pelo conceito de esperança matemática com a notação de E(X). Esperança matemática (ou simplesmente média) - E (x) – é um número real, é também uma média aritmética.

Esperança matemática de uma variável aleatória Média de um distribuição de probabilidades Se as probabilidades de obter as quantidades a 1,a 2,a 3,..a n são p 1,p 2,p 3...p n Então a esperança matemática é: E(A)=a 1 p 1 +a 2 p 2 +a 3 p 3...a n p n Uma média ponderada - onde os pesos são os valores da probabilidade

Esperança matemática de uma variável aleatória Esperança matemática para o número de caras obtida em três tentativas de rolar uma moeda As probabilidades de 0,1,2,3 caras são: 1/8,3/8,3/8,1/8 μ= 0*(1/8)+(1*3/8)+(2*3/8)+(3*1/8)=3/2

Esperança matemática de uma variável aleatória Discreto Contínuo

Variância da distribuição de probabilidade A variância de uma variável aleatória (ou de uma distribuição) é uma medida estatística da dispersão, indicando como os possíveis valores estão distribuídos ao redor do valor esperado. Var(X)=E((X-E(X)) 2 O desvio padrão de uma variável aleatória ou de uma distribuição de probabilidades é a raiz quadrada de Var(X).

Enviezamento Uma medida de assimetria da distribuição de probabilidade.

Curtose Uma medida de achatamento da distribuição de probabilidade

Distribuições empíricas de probabilidade Um estimativa empírica de uma distribuição de probabilidades é obtida da amostragem dos dados Distribuição teórica de probabilidades

Distribuição de Bernoulli A distribuição de Bernoulli assume o valor 1 com probabilidade p e o valor 0 com probabilidade q=1-p População descrita por único parâmetro p Descreve-se X~Be(p)

Distribuição Binomial Uma distribuição discreta de probabilidades do número de sucessos em uma seqüência de n eventos independentes do tipo sim/não, onde o sucesso de cada um é determinado por uma probabilidade p Premissas Tem apenas duas possibilidades A probabilidade de sucesso é mesma a cada tentativa Existem n tentativas e n é uma constante As n tentativas são independentes p é a probabilidade de sucesso 1-p é a probabilidade de falha Descreve-se X~Bin(n,p)

Distribuição Binomial A esperança matemática é: E(X)=np A variância é: Var(X)=np(1-p) Para um valor elevado de n, a distribuição Binomial Se aproxima da distribuição Normal

Distribuição Binomial x<-0:10 y<-dbinom(0:10,10,0.16) data.frame("Prob"=y,row.names=x) Prob e e e e e e e e e e e-08 plot(0:10,dbinom(0:10,10,0.16),,type='h',xlab="“, ylab="Probabilidade", sub="Número de crianças com olhos azuis")

Distribuição de Poisson Expressa a probabilidade que um número de eventos venham a ocorrer em um determinado período fixo de tempo. A probabilidade que existam exatamente m ocorrências (m inteiro e positivo) é: е a base do logaritmo natural (2, ), λ é um número real positivo, equivalente ao número esperado de ocorrências durante um certo intervalo.

Distribuição de Poisson A esperança matemática de uma variável aleatória na distribuição de Poisson é igual a λ e, também a sua variância. E(X)= λ Var(X)= λ Descreve-se X~Poisson(λ)

Distribuição de Poisson A distribuição de Poisson surge com os processos de Poisson Vários fenômenos discretos que podem ocorrer 0,1,2,3....vezes em um certo intervalo Número de carros que passam no pedágio Número de ligações telefônicas por hora Número de acessos no servidor por minuto Número de acidentes por unidade de comprimento da estrada Número de chamadas no corpo de bombeiros

Distribuição de Poisson Encontre a possibilidade de x sucessos durante um intervalo de tempo T Divida o intervalo em n partes de comprimento Δt de maneira que: T=n* Δt

Distribuição de Poisson A medida que a média aumenta a distribuição desloca-se para a direita e espalha-se

Distribuição de Poisson # Distribuição de Poisson Lambda=2 x<-0:10 y<-dpois(0:10,0.2) data.frame("Prob"=y,row.names=x) Prob e e e e e e e e e e e-14 plot(0:10, dpois(0:10,0.2), type='h', xlab="Sequência de Erros", ylab="Probabilidade") plot(0:10,ppois(0:10,0.2),xlab="# Sequência de Erros", ylab="Prob. Cumulativa", type='s')

Distribuição de Poisson par(mfrow=c(2,2)) plot(0:10,dpois(0:10,0.5),xlab="",ylab="Prob”, type='h',main="Lambda 0.5") plot(0:10,dpois(0:10,1),xlab="",ylab="Prob",ty pe='h',main="Lambda 1") plot(0:10,dpois(0:10,2),xlab="",ylab="Prob",ty pe='h',main="Lambda 2") plot(0:10,dpois(0:10,5),xlab="",ylab="Prob",ty pe='h',main="Lambda 5")

Distribuição Uniforme Uma variável aleatória tem a mesma probabilidade de assumir qualquer valor no intervalo de a e b. Descreve-se X~U(a,b)

Variável Aleatória Contínua Uma variável aleatória cujos valores são expressos em uma escala contínua é dita uma variável aleatória contínua. Podemos construir modelos teóricos para v.a.’s contínuas escolhendo adequadamente a função de densidade de probabilidade (f.d.p.), que é uma função indicadora da probabilidade nos possíveis valores de X. Assim, a área sob a f.d.p. entre dois pontos a e b nos dá a probabilidade da variável assumir valores entre a e b,

Variável Aleatória Contínua Portanto, podemos escrever: Da relação entre a probabilidade e a área sob a função, a inclusão ou não dos extremos a e b na expressão acima não afetará os resultados. Assim, iremos admitir Teoricamente, qualquer função f(x) que seja não negativa e cuja área total sob a curva seja igual à unidade, ou seja, caracterizará uma v.a. contínua. Dada a v.a. contínua X, assumindo os valores no intervalo entre a e b, chamamos valor médio ou esperança matemática de X ao valor

Variável Aleatória Contínua Chamamos variância de X ao valor e de desvio padrão de X a Se X é uma v.a. contínua com f.d.p. f(x) definimos a sua função de distribuição acumulada F(x) como:

Distribuição Normal –formato Simétrica ao redor da média; Unimodal; Formato de sino. –centro e dispersão –A regra

Distribuição Normal Padronização e Escore-z –Efeitos da padronização Padronização é uma transformação linear. Os valores padronizados de uma distribuição tem média igual a zero e desvio padrão 1. Efeitos no formato, centro e dispersão. –Transformação Linear: normal em normal.

Distribuição Normal Padrão Tabela de Escores-z Cálculo da probabilidade Standard normal distribution   Standard normal table  Normal probability calculation  Normal quantile plot  Relationships between variables o Scatterplot  Response and explanatory variables  Form, direction, strength  Adding categorical variable o Correlation r  -1<=r<=1  The sign indicates positive/negative association  What it means when r=0, -1, 1  Invariant to scaling  Sensitive to outliers Distribuição Normal

A distribuição normal ou gaussiana é extremamente importante para vários ramos da ciência. Representa uma família de distribuições com um formato similar variando nos parâmetros média (localização) e desvio padrão (forma). Descreve-se X~N(μ,σ)

Distribuição Normal A distribuição normal é a mais importante das distribuições de probabilidades. Conhecida como a “curva em forma de sino”, a distribuição normal tem sua origem associada aos erros de mensuração. É sabido que, quando se efetuam repetidas mensurações de determinada grandeza com um aparelho equilibrado, não se chega ao mesmo resultado todas as vezes; obtém-se, ao contrário, um conjunto de valores que oscilam, de modo aproximadamente simétrico, em torno do verdadeiro valor. Construindo-se o histograma desses valores, obtém-se uma figura com forma aproximadamente simétrica. Gauss deduziu matematicamente a distribuição normal como distribuição de probabilidade dos erros de observação, denominando-a então “lei normal dos erros”. Inicialmente se supunha que todos os fenômenos da vida real devessem ajustar-se a uma curva em forma de sino; em caso contrário, suspeitava-se de alguma anormalidade no processo de coleta de dados. Daí a designação de curva normal. A observação cuidadosa subseqüente mostrou, entretanto, que essa pretensa universalidade da curva, ou distribuição normal, não correspondia à realidade. De fato, não são poucos os exemplos de fenômenos da vida real representados por distribuições não normais, curvas assimétricas, por exemplo. Mesmo assim, a distribuição normal desempenha papel preponderante na estatística, e os processos de inferência nela baseados têm larga aplicação.

Distribuição Normal x<-seq(-10,10, length=100) plot(x,dnorm(x,0,1), xlab="x", ylab="f(x)", type='l', main="FDP Normal")

Distribuição Normal x<-seq(-10,10, length=100) par(mfrow=c(2,1)) plot(x,dnorm(x,0,2),xlab="x“, ylab="f(x)", type='l', main="Normal FDP,scale 2") plot(x,dnorm(x,0,5),xlab="x", ylab="f(x)",type='l', main="Normal FDP,scale 5")