Mineração de dados das ações da Bovespa Edimilson Batista Eduardo Ogasawara Heraldo Carneiro Luciano Terres

Sumário Análise Técnica do Mercado Redes Neurais Implementação e Experimentos Análise de Resultados Trabalhos Futuros

Análise técnica As operações de mercado de ações podem basear-se em métodos de análise técnica ou de análise fundamentalista. A análise técnica é um estudo de psicologia de massa. Seu objetivo é identificar tendências e mudanças no comportamento das multidões, a fim de se tomar decisões inteligentes sobre as operações no mercado.

Gráfico de ações Refletem as ondas de ganância e medo entre os operadores de mercado.

Suporte e resistência Suporte é o nível de preço a partir do qual as compras são intensamente realizadas para interromper ou reverter uma tendência de baixa. Resistência é o nível de preço em que as vendas são bastante intensas para interromper ou reverter uma tendência de alta.

Suporte e resistência

Tendência O aspecto mais importante de uma linha de tendência é o seu ângulo – que identifica as forças dominantes do mercado.

Ferramentas para a identificação de tendências Médias móveis; Médias móveis exponenciais;

Ferramentas para a identificação de tendências MACD (moving average convergence- divergence) ; Histograma de MACD

Osciladores Os osciladores ajudam a identificar pontos de inflexão. Encontra-se o estocástico, índice de força e índice de força relativo.

Outros indicadores Posicionamento do valor de abertura: PA = (Abertura – Mínimo) / (Máximo – Mínimo) Posicionamento do valor de fechamento: PF = (Fechamento – Mínimo) / (Máximo – Mínimo) Volatilidade: Volat = (Máximo – Mínimo) / (Fechamento dia anterior) Gaps: deve ser analisada junto com o volume. Volume: representa as atividades dos operadores de mercado. Índices Externos: Dow Jones, valor do dólar , etc. Estratégias: comprar na baixa e vender na alta.

Redes Neurais Redes Neurais são sistemas não lineares que imitam o mecanismo de processamento do cerébro humano. Constituída de um determinado número de elementos de processamento chamados neurônios, unidades, células ou nós. A saída é contínua ou binária, dependendo da função de ativação. Neurônio Artificial

Estrutura da rede Feed Forward (propagação direta) Recurrent (redes recorrentes)

Back-propagation Técnica de aprendizado mais popular para redes de múltiplas camadas. As saídas da rede são comparadas com as saídas reais para computar o valor de uma função de erro predefinida.

Vantagens e desvantagens Habilidade de aprender a partir de dados e o potencial de generalização. Natureza não-linear. O método é uma caixa-preta. Um certo grau de conhecimento do assunto é necessário.

Uso em problemas financeiros Os dados sobre ações são altamente complexos e difíceis de modelar. Redes neurais podem ser aplicadas para diversos tipos de problemas financeiros.

Análise de Cluster Software SPSS e Weka conjunto de variáveis brutas sem transformações de normalização ou cálculos de indicadores financeiros • Taxa rentabilidade futura 1d • Valor Médio • GAP: prox abert - fecha • Margem: abertura - fechamento; • Volátililidade: máx - mín • Volume: número de ações

Rent. futura Médio Fecham. GAP margem volatil Volume N Válidos 961 faltando Média 0,00117 4,9162 4,9141 0,0068 -0,0003 0,1806 687.688 Mediana 0,00000 4,5800 4,5900 0,000 -0,0100 0,1500 518.000 Moda 2,8100a 4,7500a -0,060a 0,1200 314.000 Desvio padrão 0,02609 1,6629 1,6636 0,0720 0,1374 0,1063 627.471 Variância 0,00100 2,7650 2,7680 0,0050 0,0190 0,0110 393.719 Skewness 0,23800 0,6160 0,6140 -0,722 0,3490 1,627 3,873 Intervalo 0,19336 8,1900 8,2900 0,740 1,4900 0,790 7.497.000 Mínimo -0,09090 2,3200 2,3100 -0,460 -0,7900 0,020 22.000 Máximo 0,10245 10,510 10,600 0,280 0,7000 0,810 7.519.000 percentis 25 -0,01518 3,6250 3,6000 -0,020 -0,0800 0,110 319.000 50 0,150 75 0,01566 5,9850 5,9900 0,040 0,0700 0,230 842.500

Taxa rentabilidade 1d futura

Valores Extremos Valores Extremos Número de casos Valor Rentabilidade futura Mais alto 1 200 0,10245902 2 615 0,09482759 3 326 0,09090909 4 48 0,08529412 5 325 0,08307692 Mais baixo 12 -0,09090909 574 -0,08931699 250 -0,07812500 476 -0,07783019 68 -0,07161804

Matriz de correlação

MakeDensityBasedCluestered

K-means

K-means

Expectation Maximization 2 – tendência de baixa 3 - tendência de baixa 0 - tendência de alta 4 - tendência de alta. 1- picos e vales – reversões e sinais de compra e venda

Implementação Ferramenta Neurespa Feita em Java Componente livre para RNAs Testes descritos em XML Tarefas Adaptação da base de dados Seleção de colunas Normalização Divisão da base de dados Geração das redes neurais

Implementação Ferramenta Neurespa Tarefas Treinamento das redes neurais Execução dos testes Desnormalização Geração de estatísticas e gráficos

Implementação Ferramenta Neurespa Seleção de colunas Normalização Sugeridas pela análise de cluster Normalização Fórmula Divisão da base de dados Treinamento 80% para treinamento efetivamente 20% para validação cruzada Teste

Implementação Ferramenta Neurespa Geração das redes neurais Uma para cada saída Testes empíricos Todas as sinapses entre pares de camadas Treinamento das redes neurais Critério de parada Evolução da taxa de erro entre épocas (> 10-3) Temporizador (25 segundos)

Implementação Ferramenta Neurespa Geração de estatísticas Erro absoluto médio Erro quadrático médio Sinais certos SE ValorRealAmanhã > ValorRealHoje E ValorPredAmanhã > ValorRealHoje ENTÃO Certo e Positivo Direções certas SE ValorRealAmanhã > ValorRealHoje E ValorPredAmanhã > ValorPredHoje ENTÃO Certo e Positivo

Experimentos ARCZ6 – Aracruz Celulose S/A Conjuntos de dados Estimar 2000-2002: Treinamento 2003: Teste Estimar Média do dia seguinte Tendência do dia seguinte

Experimentos Número de neurônios Neurônios EAM EQM Direções certas (%) Sinais certos (%) 60 0.0142531374 0.0189381424 0.58000 0.52800 55 0.0136141551 0.0181271250 0.59200 0.60400 50 0.0145647311 0.0191539551 0.57600 0.50000 45 0.0146428920 0.0193049833 0.58400 0.54000 40 0.0141685772 0.0185759937 35 0.0142684999 0.0184947094 0.56400 0.55600 31 0.0136369700 0.0177088770 0.59600 25 0.0138330496 0.0180461294 0.53200 20 0.0138531853 0.0180526843 0.57200 15 0.0139947303 0.0181804491 0.54800 10 0.0134650343 0.0177323082 0.58800 5 0.0135413688 0.0177044300 0.56000 0.55200 4 0.0133450590 0.0174891750 3 0.0130219316 0.0169635832 0.60000 2 0.0129646450 0.0168895507 1 0.0129992310 0.0169521670

Experimentos Número de camadas Neurônios Camadas EAM EQM Direções (%) Sinais (%) 31 5 0.0145105473 0.0187033343 0.58000 0.50800 4 0.0147863727 0.0192559797 0.58400 0.48400 3 0.0136369698 0.0177088770 0.59600 0.57600 2 0.0133504600 0.0174049644 0.58800 0.55200 0.0130855848 0.0172342358 0.59200 0.0129646450 0.0168895507 0.60000

Experimentos Funções de ativação Neurônios Funções EAM EQM Direções (%) Sinais (%) 31 LLT 0.0139650507 0.0183531935 0.57600 0.55600 LTT 0.0136350994 0.0177076522 0.59600 TLT 0.0139652226 0.0183533008 TTT 0.0136369698 0.0177088770 2 0.0139136840 0.0182582319 0.58000 0.54800 LTL 0.0129836528 0.0170092918 0.59200 0.58400 0.0129548072 0.0168765393 0.60000 0.0139136696 0.0182585126 TTL 0.0129842942 0.0170093687 0.0129646450 0.0168895507

Experimentos Gráfico da melhor configuração para ARCZ6

Experimentos Outras ações BBAS3 Neurônios Funções EAM EQM Direções (%) Sinais (%) 31 LTT 0.0169376315 0.0217470302 0.63200 0.56000 TTT 0.0169383360 0.0217462480 2 0.0162669367 0.0207035636 0.58800 0.0162778079 0.0207187803

Experimentos Outras ações CESP4 Neurônios Funções EAM EQM Direções (%) Sinais (%) 31 LTT 0.0238761297 0.0327860685 0.63200 0.64400 TTT 0.0240804565 0.0330153449 0.65200 2 0.0242791600 0.0337805849 0.61600 0.64800 0.0242393249 0.0337020841

Experimentos Outras ações CESP4 Neurônios Funções EAM EQM Direções (%) Sinais (%) 31 LTT 0.0238761297 0.0327860685 0.63200 0.64400 TTT 0.0240804565 0.0330153449 0.65200 2 0.0242791600 0.0337805849 0.61600 0.64800 0.0242393249 0.0337020841

Experimentos Combinação de ações Treinar rede com dados de 2000-2002 das 3 ações analisadas Usar a rede treinada para prever 2003 separadamente para cada uma delas

Experimentos Combinação de ações ARCZ6 BBAS3 CESP4 Neurônios Funções EAM EQM Direções (%) Sinais (%) 31 LTT 0.0136389578 0.0176992605 0.60000 0.59600 TTT 0.0136365225 0.0176962446 2 0.0132683518 0.0171841738 0.60400 0.57600 0.0132676716 0.0171836248 Neurônios Funções EAM EQM Direções (%) Sinais (%) 31 LTT 0.0159774867 0.0208863916 0.62000 0.57600 TTT 0.0159765873 0.0208849525 2 0.0152263807 0.0194231483 0.63600 0.64000 0.0152192356 0.0194120618 0.64400 Neurônios Funções EAM EQM Direções (%) Sinais (%) 31 LTT 0.0234874720 0.0317928466 0.60800 0.63200 TTT 0.0234978693 0.0318053487 2 0.0237169161 0.0330318608 0.62000 0.65600 0.0237160880 0.0330312800

Analise de Resultados Alvos: PREDIÇÃO do valor CLASSIFICAÇÃO do sinal do movimento ARCZ6 x BBAS3 x CESP4 Alvos: MEDIAD1 - valor médio do próximo dia TEND_MEDIAD1 - média móvel exponencial para o valor médio do próximo dia

Indicadores Predição Erro absoluto - distância entre o valor predito e o valor real Classificação sinal da variação [positivo, negativo] classifica o sentido da variação entre o valor predito para o próximo dia e o valor real. direção da variação [positiva, negativa] classifica a direção da variação entre o valor predito para o próximo dia e o valor predito do dia atual.

MEDIAD1 Classificação Predição ARCZ6 BAS3 CESP4 ALVO MEDIAD1 Erro absoluto médio Direções certas (%) Sinais certos (%) ARCZ6 0.0136 59.60% 57.60% BAS3 0.0163 63.20% 58.80% CESP4 0.0241 65.20%

TEND_MEDIAD1 Predição Classificação ARCZ6 BBAS3 CESP4 MEDIAD1 ALVO TEND_ MEDIAD1 Erro absoluto médio Direções certas (%) Sinais certos (%) ARCZ6 0.0053 80.00% 74.80% BBAS3 0.0064 78.40% 70.00% CESP4 0.0094 82.00%

Normalização Comum Variação IEEE Transactions on Nuclear Science, 1997

Análise de risco - Estatística 47.6% das vezes a abertura do dia seguinte é maior que o fechamento anterior. 48.9% das vezes o fechamento do dia seguinte é maior que o fechamento do dia anterior. 47.8% das vezes o fechamento do dia é superior a abertura. Quando a estimativa do valor médio para o dia seguinte é superior a média do dia atual: E > 0%; (50%); F → A (52%); F → F(50.4%);A → F(48.8%); E > 0.25%; (37%); F → A (53.0%); F → F(53.5%);A → F(51.9%); E > 0.5%; (22%); F → A (53.6%); F → F(53.2%);A → F(50%);

Análise de risco – Divisão do espaço – Trabalhos futuros Ontem Hoje F → A F → F A → F RESISTÊNCIA 80% 40% RESISTENCIA ALTA 60% BAIXA 20%

Linha de experimentos