Modelagem Analítica Pare de clicar & começe a programar Pedro Carvalho

Qual o software mais importante?

Qual o software mais importante? Excel - planilha Utilizadas para fundamentar grande parte de decisões de negócio no mundo Fácil de introduzir, ver e modificar dados

Qual o software mais importante? Objetivo da modelagem? Obtenção de conhecimentos que ajudem a tomada de melhores decisões e resultados.

Qual o software mais importante? No entanto, estima-se que 90% das planilhas contenham erros Fontes: http://panko.shidler.hawaii.edu/SSR/Mypapers/whatknow.htm http://www.marketwatch.com/story/88-of-spreadsheets-have-errors-2013-04-17 http://www.eusprig.org/stories.htm Porquê?

Alguma vez...? Teve que repetir várias vez o mesmo processo de copiar, colar, clicar? Teve dúvidas sobre a origem,versão,última data atualizada dos dados brutos? Sentiu constrangido por pedir várias vezes diferentes dados/formatos de dados ao departamento de TI?

Alguma vez...? Teve problemas em agregar, filtrar e indexar diferentes tabelas e/ou diferentes origens? Teve dificuldade em analisar dados em diferentes formatos (csv, tsv, txt, sql, json..)? Não lembrar quais as alterações feitas anteriormente na tabela da planilha?

Alguma vez...? Não entendeu / não conseguiu reproduzir o que os outros (ou você mesmo) fizeram? Teve receio de haver falhar, erros, fraude, na modelagem? Não conseguiu entender a lógica da análise porque o processo não está documentado?

Alguma vez...? questionou se o resultado final da modelagem atualizou com novos dados? não teve certeza como mudanças na modelagem afetam o seu resultado final? Teve dificuldade em colaborar ou trabalhar em conjunto por ter dificuldade em entender e modificar a modelagem de terceiros?

É provavél que sim porque.. Planilha é o programa adequado para tarefas que envolvem análises simples, diretas, sem encadeamento Orçamentos: Fácil Introduzir, ver e modificar dados e comentários Contabilidade: Dimensão reduzida (DR & Balanço) Estatística simples: soma, média, mínimo / máximo, gráficos

É provavél que sim porque.. Planilha não é o programa mais adequado para análises de dados mais complexas Baixar dados de diferentes formatos, fontes Limpar, formatar, manipular, indexar, agregar, filtrar dados Implementar modelagem numérica, estatística, simbólica (álgebra), documentando todo o processo para entender diferença de resultados Testar / “backtesting” e visualizar análises Repetir este processo quantas vezes necessárias,comparando resultados Documentar métodos, processos, comentários, resultados, conclusões

A análise quantitativa é um processo Método científico / analítico Pensar em problema Formular hipótese Procurar dados Formatar dados Implementar hipótese: Estatística Modelagem económica Testar / “Backtesting” para quantificar eficácia do modelo / algoritmo Refletir sobre resultados GOTO 2 até ficar satisfeito com o “melhor” modelo preditivo Implementar análise prescritiva combinando algoritmo preditivo com a base de dados da empresa (stocks, encomendas) através de modelagem numérica - otimização Desenvolver Interface gráfico para utilizador

A análise quantitativa é um processo É também uma arte: tem de ser aberta, transparente facilitar colaboração, atualizações, adaptações para se adaptar às mudanças. economia de escala de trabalho e conhecimento, eliminando repetições manuais Dado a complexidade do processo, tudo tem de ficar documentado em código e em texto

Passando para a fase seguinte Cada fase da análise quantitativa (descritiva, preditiva e prescritiva) tem como base a fase anterior Embora o objetivo final da análise seja recomendar decisões (análise prescritiva), a maior parte das empresas não passam da 1ª fase (descrição)

Passando para a fase seguinte Gerentes têm acesso apenas à análise descritiva, interpretando-a, fazendo eles próprios estimativas preditivas e prescritivas sem qualquer método, nem testando eficácia das suas estimativas anteriores “Vendemos x número de produtos/serviços? Então, provavelmente... Iremos vender a mesma quantidade no próximo período Teremos que aumentar o stock em x%

Passando para a fase seguinte A maioria das empresas não passam da análise descritiva. Porquê? Porque construir modelagem com capacidade descritiva, preditiva e prescritiva requer fluxo / processo / sistemas, mas... ...as planilhas quebram com complexidade.

Há alternativa à planilha? VBA, Java, MATLAB, SAS? Necessário programadores / software propietário Ao contrário da planilha, dados ficam “longe” do utilizador. É difícil: introduzir dados, ver, modificar, fazer cálculos

A solução - R & Python As linguagem de programação mais utilizadas por analistas de Data Mining e Análise Preditiva ghjgjghj

A solução - R & Python Apresentações sobre Python Computação científica

Vantagens Transparência Documentação detalhada do princípio ao fim da análise, facilidade de auditoria de erros/fraudes Facilidade de colaboração entre analistas

Vantagens Escala de trabalho - não é necessário repetir os mesmos cliques e copy-paste de conhecimento - possível acrescentar novos conhecimentos ao código antigo. Esforço dedicado na aprendizagem e automatização, mas não na sua implementação diária.

Vantagens Flexibilidade / Agilidade Linguagens “limpas” - fácil de entender, alterar, de fazer análise exploratória de dados (ao contrário do VBA,apropriada apenas para automatizar processos) Facilidade em alterar / adaptar código Compatibilidade com quase todos os formatos de dados (xls, xlsx, csv, tsv, txt, json, sql, etc.) Fácil integração com websites através de APIs

Vantagens Amplas bibliotecas estatística e númericas Graphical User Interface Facilidade de criar interface gráfico

Modelo de negócio Cliente recebe trabalho da 1ªfase (Análise descritiva) Apenas paga se desejar continuar a modelagem analítica Case contrário, não paga qualquer valor pelo trabalho que recebeu 1. Análise Descritiva 2. Análise de diagnóstico / descoberta 3. Análise Preditiva O modelo de negócio visa minimizar os riscos para todas as partes. O “contrato” de pagamento é simples O cliente paga pelo serviço de cada fase do projeto apenas se decidir continuar para a fase seguinte. 4. Análise Prescritiva 5. Interface gráfico

Modelo de negócio - Serviços Análise Descritiva Estatística, Análise económica e de mercado Análise de Diagnóstico e de Descoberta Clusterização / Segmentação de clientes e mercados com técnicas de Machine Learning Análise Preditiva Secções Cruzadas e dados em painel Classificação Quantificação de Probabilidade Séries Temporais Análise Prescritiva / Recomendações de decisões automatizadas Otimização e Simulação Interface Gráfico de Utilizados Integrando e automatizando todas as fases anteriores

Conclusão Programar análise de dados é uma nova forma de trabalhar. Com Modelagem Analítica você pode testar as vantagens deste novo modelo sem qualquer risco ou compromisso.