A ANÁLISE DE DADOS USANDO O SEstatNet

Apresentação em tema: "A ANÁLISE DE DADOS USANDO O SEstatNet"— Transcrição da apresentação:

1 A ANÁLISE DE DADOS USANDO O SEstatNet
MINICURSO: A ANÁLISE DE DADOS USANDO O SEstatNet

2 A ANÁLISE DE DADOS USANDO O SEstatNet
14:00 – 15:30: A ESTATÍSTICA NA INVESTIGAÇÃO CIENTÍFICA (José Fletes) 15:45 – 16:30: O SEstatNet COMO FERRAMENTA DE ANÁLISE DE DADOS (Vilson Wronscki) 16:45 – 17:30: APLICAÇÕES (Gustavo Zambonin – Vilson Wronscki – José Fletes) 17:30 – 18:00: AVALIAÇÃO E ENCERRAMENTO

3 A ESTATÍSTICA NA INVESTIGAÇÃO CIENTÍFICA
Prof. José Fletes UFSC

4 INVESTIGAÇÃO CIENTÍFICA
BUSCA DA “VERDADE” (VEROSSIMILHANÇA) 1- SONDAGENS ... ESTUDOS PRELIMINARES 2- PESQUISA ... ESTUDOS EM PROFUNDIDADE

5 1º: O PROBLEMA CARACTERÍSTICAS: PROBLEMA CLARAMENTE DEFINIDO
- ADMITIR REDAÇÃO EM LINGUAGEM INTERROGATIVA - RELACIONAR VARIÁVEIS  ESTATÍSTICA - PODER SER REPLICADO (OU ADMITIR ALTERNATIVA QUE LEVE A RESULTADO SEMELHANTE)

6 1º: O PROBLEMA PROBLEMA VIÁVEL COM POSSIBILIDADE DE SOLUÇÃO CONSIDERANDO OS RECURSOS DISPONÍVEIS, COM - PESSOAS HABILITADAS - DOMÍNIO DA(S) TEORIA(S) - DOMÍNIO DA(S) TECNOLOGIA(S) - RECURSOS FINANCEIROS

7 2º: OBJETIVOS OBJETIVO GERAL OBJETIVOS ESPECÍFICOS

8 3º: HIPÓTESES DE TRABALHO
QUESTÕES DA INVESTIGAÇÃO CIENTÍFICA  OBJETIVOS ESPECÍFICOS AMOSTRAGEM E PLANO AMOSTRAL DESENHO EXPERIMENTAL COLETA DE DADOS

9 4º: ESTATÍSTICA INSTRUMENTO PODEROSO
PARA A TOMADA DE DECISÃO SOB INCERTEZA PARA A ANÁLISE DA VARIAÇÃO DOS FATOS E/OU FENÔMENOS REAIS IMPORTANTE: “A ÚNICA INVARIANTE DA REALIDADE É A VARIAÇÃO”

10 ESTATÍSTICA 1- ESTATÍSTICA DESCRITIVA E EXPLORATÓRIA
2- ESTATÍSTICA INDUTIVA OU INFERENCIAL

11 SISTEMA DE PEARSON 1- VALOR CENTRAL: MÉDIA, MODA E MEDIANA
2- DISPERSÃO: VARIAÇÃO TOTAL (OU “RANGE”), VARIÂNCIA (OU QUADRADO MÉDIO), DESVIO PADRÃO E COEFICIENTE DE VARIAÇÃO DE PEARSON 3- FORMA: ASSIMETRIA (OU DISTORÇÃO) 4- DISCREPANTES (OU ANÔMALOS): “OUTSIDERS” E “OUTLIERS” 5- FORMAÇÃO DE GRUPOS E/OU SUBGRUPOS

12 ESTATÍSTICA EXPLORATÓRIA
1977 – JOHN TUKEY INTRODUZ AS TÉCNICAS EXPONDO OS PRINCÍPIOS FUNDAMENTAIS NO SEU LIVRO “EXPLORATORY DATA ANALYSIS - E.D.A”, DEFININDO EDA COMO EDA is a detective work – numerical detective work – or counting detective work – or graphical detective work.

13 ESTATÍSTICA EXPLORATÓRIA
1979 – HARTWIG E DEHRING APRESENTAM UMA DEFINIÇÃO APERFEIÇOADA EDA is a interactive and iterative process. ISTO É: É UM PROCESSO DE INTEGRAÇÃO DOS CONHECIMENTOS; É UM PROCESSO DE INTERAÇÃO ENTRE OS DADOS E O CONHECIMENTO DO ANALISTA.

14 Exploração X Descrição
Estatística Exploratória (EDA) – técnicas gráficas e analíticas para obter informação prévia dos dados e analisar numa perspectiva exploratória obtendo medidas de ordem centradas na mediana. Estatística Descritiva – técnicas de coleta, organização e representação dos dados (de forma tabular e gráfica) obtendo medidas de resumo com base nos desvios centrados na média.

15 OBJETIVO DO E.D.A ALÉM DOS OBJETIVOS DA ESTATÍSTICA DESCRITIVA, PROCURA DETECTAR ANOMALIAS (“DISCREPANTES”) OU ERROS NAS DISTRIBUIÇÕES UNIVARIANTES DOS DADOS, TENTANDO DESCOBRIR NOS DADOS ESTRUTURAS RELEVANTES, PADRÕES DE COMPORTAMENTO OU MODELOS DE REPRESENTAÇÃO.

16 BASEADA EM ESTATÍSTICAS DE ORDEM E CENTRADAS NA MEDIANA.
OBJETIVO DO E D A INCORPORA NOVAS TÉCNICAS GRÁFICAS E PROCURA MEDIDAS RESISTENTES (MEDIDAS QUE MOSTRAM POUCA SENSIBILIDADE NA PRESENÇA DE “OUTLIERS”) E MÉTODOS ROBUSTOS (POUCO SENSÍVEIS A DESVIOS DOS INTRÍNSECOS A MODELOS PROBABILÍSTICOS (POR EXEMPLO, QUANTO À FORMA). BASEADA EM ESTATÍSTICAS DE ORDEM E CENTRADAS NA MEDIANA.

17

18 POSTURA DO ANALISTA DE DADOS – E D A
ANTES DE QUALQUER ANÁLISE DOS DADOS, É NECESSÁRIO UM EXAME VISUAL: -OLHÁ-LOS; - LÊ-LOS; - ENTENDÊ-LOS; - REFLETIR SOBRE ELES!

19 FILOSOFIA CARÁTER PRÁTICO, SEGUNDO O QUAL, OS DADOS SÃO OS QUE GUIAM A SELEÇÃO DE MODELOS ADEQUADOS, MINIMIZANDO-SE AS SUPOSIÇÕES PRÉVIAS E RESTRITIVAS.

20 FILOSOFIA CABE AO ANALISTA DOS DADOS, DESCOBRIR PADRÕES DE COMPORTAMENTO E AS ESTRUTURAS QUE OS DADOS APRESENTAM.

21 EXEMPLO: NOTAS DE ESTATÍSTICA Turmas do Prof. Fletes – 2013
VISUALIZANDO PADRÃO EXEMPLO: NOTAS DE ESTATÍSTICA Turmas do Prof. Fletes – 2013

22 – Famílias de baixa renda (Fpólis., 2008 - SC)-
VISUALIZANDO PADRÃO EXEMPLO: ÁREA DE TERRENOS (m²) – Famílias de baixa renda (Fpólis., SC)-

23 PERGUNTA NA SUA PERCEPÇÃO: QUAL O PADRÃO DOS SALÁRIOS?
QUAL O PADRÃO DOS PREÇOS DE GASOLINA COMUM? GRÁFICO ILUSTRATIVO, PARA CADA SITUAÇÃO!

24 PADRÃO DOS SALÁRIOS - Bolsa de Salários (Folha de S Paulo – Outubro de 2010) -

25 PADRÃO PREÇOS GC - 05 a 11 Out. 2014 – Fpólis_S José (Fonte: ANP) -

26 ASPECTOS CARACTERÍSTICOS
1- VISUALIZAÇÃO PARA AVALIAR COMPORTAMENTO DOS DADOS E POSSÍVEIS ESTRUTURAS QUE ESTES APRESENTAM.

27 ASPECTOS CARACTERÍSTICOS
2- FOCO E ATENÇÃO DO ANALISTA DOS DADOS NOS RESÍDUOS OU NO QUE RESTA APÓS APLICAR ALGUM TIPO DE ANÁLISE.

28 ASPECTOS CARACTERÍSTICOS
3- MINIMIZAÇÃO DO EFEITO DOS DISCREPANTES, VALORES ESTRANHOS, “OUTLIERS”, NOS RESULTADOS DA ANÁLISE  CARÁTER RESISTENTE DE E D A. Medidas que mostram pouca sensibilidade na presença de “outliers”

29 COMPONENTES DO E D A 1- DESCRIÇÃO DOS DADOS A PARTIR DE VÁRIAS MEDIDAS SIMULTÂNEAS. 2- PREFERÊNCIA POR RESUMO VISUAL AO RESUMO NUMÉRICO.

30 ESTRATÉGIAS DE ANÁLISE
CLÁSSICA X EXPLORATÓRIA J U I Z D E T E T I V E CONFIRMAÇÃO EXPLORAÇÃO

31 CONFRONTO CONFIRMAÇÃO -VERIFICAR HIPÓTESES EXPLORAÇÃO -DESCOBRIR
-HIPÓTESES FORTES -FENÔMENO, FATO, BEM CONHECIDO EXPLORAÇÃO -DESCOBRIR -AUSÊNCIA DE HIPÓTESES -CONHECIMENTO INSUFICIENTE

32 A ESTRATÉGIA CLÁSSICA (Paradigma FISHERIANO)‏
PARTE-SE DE UMA HIPÓTESE DEFINE-SE UMA POPULAÇÃO ALVO SELECIONA-SE UMA DISTRIBUIÇÃO TEÓRICA QUE CARACTERIZE A POPULAÇÃO SELECIONA-SE A AMOSTRA ESTIMAM-SE OS PARÂMETROS DA POPULAÇÃO TESTA-SE A HIPÓTESE E DECIDE-SE

33 A ESTRATÉGIA EXPLORATÓRIA
PARTE-SE DOS DADOS SELECIONA-SE UMA REPRESENTAÇÃO EXPLORAM-SE OS DADOS RECONHECE-SE UMA FORMA FORMULA-SE HIPÓTESE SIMPLES FAZ-SE DIAGNÓSTICO ANÁLISE DE CONFIRMAÇÃO

34 EXPLORAÇÃO DE DADOS É... AMPLITUDE DE IDÉIAS CRÍTICA CONSCIENTE
INTERATIVA (Um resultado sugere outro, uma resposta requer mais perguntas)‏ ITERATIVA/RECORRENTE (Aplicar as mesmas ferramentas a subconjuntos de dados, variações das ferramentas)‏ CRIATIVA

35 AS FERRAMENTAS SÃO... FLEXÍVEIS ADAPTÁVEIS INTERATIVAS ALTERNATIVAS

36 A ANÁLISE DE DADOS IMPLICA EM...
OBTER O MODELO DOS DADOS USAR UMA TÉCNICA DE ANÁLISE USAR CONHECIMENTOS EXTERNOS EM SÍNTESE: DADOS = MODELO + RESÍDUO

37 FERRAMENTAS BÁSICAS DESCRIÇÃO DA VARIÁVEL EM ANÁLISE
PÔR EM EVIDÊNCIA (IR)REGULARIDADES OBTER ESTATÍSTICAS (INDICES)‏ ESTRUTURAS

38 ESTATÍSTICAS DESCRITIVAS
VALOR TÍPICO (Tendência Central ou Posição ou Localização)‏ VARIAÇÃO (Dispersão)‏ FORMA (Assimetria ou Distorção)‏ PARTICULARIDADES: -Discrepantes‏ - Grupos (Agregados)‏

39 VISUALIZAÇÃO HISTOGRAMA BOX PLOT (Esquema dos 5 números)‏

40 MEDIDAS DE ORDEM (SEPARATRIZES)‏
MAIS ROBUSTAS TRANSFORMAÇÕES (INVARIÂNCIA)‏ SEPARATRIZES  BOX PLOT

41 RELAÇÕES GRÁFICO DE DISPERSÃO MODELO MATEMÁTICO CORRELAÇÃO, ASSOCIAÇÃO

42 PERCEPÇÃO GRÁFICA INTERAÇÃO HOMEM-GRÁFICO APTIDÃO PARA PERCEPÇÃO
DADOS  INFORMAÇÃO PRECISÃO  EXATIDÃO ( Q U A L I D A D E )‏ APRENDIZAGEM: APTIDÕES, COMPETÊNCIAS.

43 EXCELÊNCIA GRÁFICA COMUNICAR IDÉIAS COMPLEXAS COM CLAREZA PRECISÃO
EFICIÊNCIA

44 RECOMENDAÇÕES DE TUFTE
-MOSTRAR OS DADOS -ESTIMULAR A REFLEXÃO SOBRE O CONTEÚDO -EVITAR A DISTORÇÃO DA INFORMAÇÃO CONTIDA NOS DADOS -UTILIZAR POUCO ESPAÇO PARA APRESENTAR MUITAS INFORMAÇÕES -TORNAR COERENTES GRANDES CONJUNTOS DE DADOS -INCITAR O OLHO A COMPARAR

45 RECOMENDAÇÕES DE TUFTE
-MOSTRAR VÁRIOS NÍVEIS DE DETALHE MICRO  MACRO -FIXAR OBJETIVO CLARO: DESCRIÇÃO  EXPLORAÇÃO  TABULAÇÃO  VISUALIZAÇÃO -INTEGRAR DESCRIÇÃO ESTATÍSTICA COM DESCRIÇÃO VERBAL

46 REFERÊNCIAS BIBLIOGRÁFICAS
Tukey, John (1977), Exploratory Data Analysis, Addison- Wesley. Tufte, Edward (1983), The Visual Display of Quantitative Information, Graphic Press. Box, G.E.P., Hunter, W.G., and Hunter, J.S. (1978), Statistics for Experimenters: An Introduction to Design, Data Analysis and Model Building, John Wiley and Sons. Freixa I. Blanxart, M (et al). Análisis Exploratório de Datos: Nuevas Técnicas Estadísticas, Barcelona - PPU, 1992.