Mineração de dados das ações da Bovespa

Apresentação em tema: "Mineração de dados das ações da Bovespa"— Transcrição da apresentação:

1 Mineração de dados das ações da Bovespa
Edimilson Batista Eduardo Ogasawara Heraldo Carneiro Luciano Terres

2 Sumário Análise Técnica do Mercado Redes Neurais
Implementação e Experimentos Análise de Resultados Trabalhos Futuros

3 Análise técnica As operações de mercado de ações podem basear-se em métodos de análise técnica ou de análise fundamentalista. A análise técnica é um estudo de psicologia de massa. Seu objetivo é identificar tendências e mudanças no comportamento das multidões, a fim de se tomar decisões inteligentes sobre as operações no mercado.

4 Gráfico de ações Refletem as ondas de ganância e medo entre os operadores de mercado.

5 Suporte e resistência Suporte é o nível de preço a partir do qual as compras são intensamente realizadas para interromper ou reverter uma tendência de baixa. Resistência é o nível de preço em que as vendas são bastante intensas para interromper ou reverter uma tendência de alta.

6 Suporte e resistência

7 Tendência O aspecto mais importante de uma linha de tendência é o seu ângulo – que identifica as forças dominantes do mercado.

8 Ferramentas para a identificação de tendências
Médias móveis; Médias móveis exponenciais;

9 Ferramentas para a identificação de tendências
MACD (moving average convergence- divergence) ; Histograma de MACD

10 Osciladores Os osciladores ajudam a identificar pontos de inflexão.
Encontra-se o estocástico, índice de força e índice de força relativo.

11 Outros indicadores Posicionamento do valor de abertura:
PA = (Abertura – Mínimo) / (Máximo – Mínimo) Posicionamento do valor de fechamento: PF = (Fechamento – Mínimo) / (Máximo – Mínimo) Volatilidade: Volat = (Máximo – Mínimo) / (Fechamento dia anterior) Gaps: deve ser analisada junto com o volume. Volume: representa as atividades dos operadores de mercado. Índices Externos: Dow Jones, valor do dólar , etc. Estratégias: comprar na baixa e vender na alta.

12 Redes Neurais Redes Neurais são sistemas não lineares que imitam o mecanismo de processamento do cerébro humano. Constituída de um determinado número de elementos de processamento chamados neurônios, unidades, células ou nós. A saída é contínua ou binária, dependendo da função de ativação. Neurônio Artificial

13 Estrutura da rede Feed Forward (propagação direta)
Recurrent (redes recorrentes)

14 Back-propagation Técnica de aprendizado mais popular para redes de múltiplas camadas. As saídas da rede são comparadas com as saídas reais para computar o valor de uma função de erro predefinida.

15 Vantagens e desvantagens
Habilidade de aprender a partir de dados e o potencial de generalização. Natureza não-linear. O método é uma caixa-preta. Um certo grau de conhecimento do assunto é necessário.

16 Uso em problemas financeiros
Os dados sobre ações são altamente complexos e difíceis de modelar. Redes neurais podem ser aplicadas para diversos tipos de problemas financeiros.

17 Análise de Cluster Software SPSS e Weka
conjunto de variáveis brutas sem transformações de normalização ou cálculos de indicadores financeiros • Taxa rentabilidade futura 1d • Valor Médio • GAP: prox abert - fecha • Margem: abertura - fechamento; • Volátililidade: máx - mín • Volume: número de ações

18 Rent. futura Médio Fecham. GAP margem volatil Volume N Válidos 961 faltando Média 0,00117 4,9162 4,9141 0,0068 -0,0003 0,1806 Mediana 0,00000 4,5800 4,5900 0,000 -0,0100 0,1500 Moda 2,8100a 4,7500a -0,060a 0,1200 Desvio padrão 0,02609 1,6629 1,6636 0,0720 0,1374 0,1063 Variância 0,00100 2,7650 2,7680 0,0050 0,0190 0,0110 Skewness 0,23800 0,6160 0,6140 -0,722 0,3490 1,627 3,873 Intervalo 0,19336 8,1900 8,2900 0,740 1,4900 0,790 Mínimo -0,09090 2,3200 2,3100 -0,460 -0,7900 0,020 22.000 Máximo 0,10245 10,510 10,600 0,280 0,7000 0,810 percentis 25 -0,01518 3,6250 3,6000 -0,020 -0,0800 0,110 50 0,150 75 0,01566 5,9850 5,9900 0,040 0,0700 0,230

19 Taxa rentabilidade 1d futura

20 Valores Extremos Valores Extremos Número de casos Valor
Rentabilidade futura Mais alto 1 200 0, 2 615 0, 3 326 0, 4 48 0, 5 325 0, Mais baixo 12 -0, 574 -0, 250 -0, 476 -0, 68 -0,

21 Matriz de correlação

22 MakeDensityBasedCluestered

23 K-means

24 K-means

25 Expectation Maximization
2 – tendência de baixa 3 - tendência de baixa 0 - tendência de alta 4 - tendência de alta. 1- picos e vales – reversões e sinais de compra e venda

26 Implementação Ferramenta Neurespa Feita em Java
Componente livre para RNAs Testes descritos em XML Tarefas Adaptação da base de dados Seleção de colunas Normalização Divisão da base de dados Geração das redes neurais

27 Implementação Ferramenta Neurespa Tarefas
Treinamento das redes neurais Execução dos testes Desnormalização Geração de estatísticas e gráficos

28 Implementação Ferramenta Neurespa Seleção de colunas Normalização
Sugeridas pela análise de cluster Normalização Fórmula Divisão da base de dados Treinamento 80% para treinamento efetivamente 20% para validação cruzada Teste

29 Implementação Ferramenta Neurespa Geração das redes neurais
Uma para cada saída Testes empíricos Todas as sinapses entre pares de camadas Treinamento das redes neurais Critério de parada Evolução da taxa de erro entre épocas (> 10-3) Temporizador (25 segundos)

30 Implementação Ferramenta Neurespa Geração de estatísticas
Erro absoluto médio Erro quadrático médio Sinais certos SE ValorRealAmanhã > ValorRealHoje E ValorPredAmanhã > ValorRealHoje ENTÃO Certo e Positivo Direções certas SE ValorRealAmanhã > ValorRealHoje E ValorPredAmanhã > ValorPredHoje ENTÃO Certo e Positivo

31 Experimentos ARCZ6 – Aracruz Celulose S/A Conjuntos de dados Estimar
: Treinamento 2003: Teste Estimar Média do dia seguinte Tendência do dia seguinte

32 Experimentos Número de neurônios Neurônios EAM EQM Direções certas (%)
Sinais certos (%) 60 55 50 45 40 35 31 25 20 15 10 5 4 3 2 1

33 Experimentos Número de camadas Neurônios Camadas EAM EQM Direções (%)
Sinais (%) 31 5 4 3 2

34 Experimentos Funções de ativação Neurônios Funções EAM EQM
Direções (%) Sinais (%) 31 LLT LTT TLT TTT 2 LTL TTL

35 Experimentos Gráfico da melhor configuração para ARCZ6

36 Experimentos Outras ações BBAS3 Neurônios Funções EAM EQM Direções (%)
Sinais (%) 31 LTT TTT 2

37 Experimentos Outras ações CESP4 Neurônios Funções EAM EQM Direções (%)
Sinais (%) 31 LTT TTT 2

38 Experimentos Outras ações CESP4 Neurônios Funções EAM EQM Direções (%)
Sinais (%) 31 LTT TTT 2

39 Experimentos Combinação de ações
Treinar rede com dados de das 3 ações analisadas Usar a rede treinada para prever separadamente para cada uma delas

40 Experimentos Combinação de ações ARCZ6 BBAS3 CESP4 Neurônios Funções
EAM EQM Direções (%) Sinais (%) 31 LTT TTT 2 Neurônios Funções EAM EQM Direções (%) Sinais (%) 31 LTT TTT 2 Neurônios Funções EAM EQM Direções (%) Sinais (%) 31 LTT TTT 2

41 Analise de Resultados Alvos: PREDIÇÃO do valor
CLASSIFICAÇÃO do sinal do movimento ARCZ6 x BBAS3 x CESP4 Alvos: MEDIAD1 - valor médio do próximo dia TEND_MEDIAD1 - média móvel exponencial para o valor médio do próximo dia

42 Indicadores Predição Erro absoluto - distância entre o valor predito e o valor real Classificação sinal da variação [positivo, negativo] classifica o sentido da variação entre o valor predito para o próximo dia e o valor real. direção da variação [positiva, negativa] classifica a direção da variação entre o valor predito para o próximo dia e o valor predito do dia atual.

43 MEDIAD1 Classificação Predição ARCZ6 BAS3 CESP4 ALVO MEDIAD1
Erro absoluto médio Direções certas (%) Sinais certos (%) ARCZ6 0.0136 59.60% 57.60% BAS3 0.0163 63.20% 58.80% CESP4 0.0241 65.20%

44 TEND_MEDIAD1 Predição Classificação ARCZ6 BBAS3 CESP4 MEDIAD1
ALVO TEND_ MEDIAD1 Erro absoluto médio Direções certas (%) Sinais certos (%) ARCZ6 0.0053 80.00% 74.80% BBAS3 0.0064 78.40% 70.00% CESP4 0.0094 82.00%

45 Normalização Comum Variação IEEE Transactions on Nuclear Science, 1997

46 Análise de risco - Estatística
47.6% das vezes a abertura do dia seguinte é maior que o fechamento anterior. 48.9% das vezes o fechamento do dia seguinte é maior que o fechamento do dia anterior. 47.8% das vezes o fechamento do dia é superior a abertura. Quando a estimativa do valor médio para o dia seguinte é superior a média do dia atual: E > 0%; (50%); F → A (52%); F → F(50.4%);A → F(48.8%); E > 0.25%; (37%); F → A (53.0%); F → F(53.5%);A → F(51.9%); E > 0.5%; (22%); F → A (53.6%); F → F(53.2%);A → F(50%);

47 Análise de risco – Divisão do espaço – Trabalhos futuros
Ontem Hoje F → A F → F A → F RESISTÊNCIA 80% 40% RESISTENCIA ALTA 60% BAIXA 20%

48 Linha de experimentos