Modelagem Analítica Pare de clicar & começe a programar

Apresentação em tema: "Modelagem Analítica Pare de clicar & começe a programar"— Transcrição da apresentação:

1 Modelagem Analítica Pare de clicar & começe a programar
Pedro Carvalho

2 Qual o software mais importante?

3 Qual o software mais importante?
Excel - planilha Utilizadas para fundamentar grande parte de decisões de negócio no mundo Fácil de introduzir, ver e modificar dados

4 Qual o software mais importante?
Objetivo da modelagem? Obtenção de conhecimentos que ajudem a tomada de melhores decisões e resultados.

5 Qual o software mais importante?
No entanto, estima-se que 90% das planilhas contenham erros Fontes: Porquê?

6 Alguma vez...? Teve que repetir várias vez o mesmo processo de copiar, colar, clicar? Teve dúvidas sobre a origem,versão,última data atualizada dos dados brutos? Sentiu constrangido por pedir várias vezes diferentes dados/formatos de dados ao departamento de TI?

7 Alguma vez...? Teve problemas em agregar, filtrar e indexar diferentes tabelas e/ou diferentes origens? Teve dificuldade em analisar dados em diferentes formatos (csv, tsv, txt, sql, json..)? Não lembrar quais as alterações feitas anteriormente na tabela da planilha?

8 Alguma vez...? Não entendeu / não conseguiu reproduzir o que os outros (ou você mesmo) fizeram? Teve receio de haver falhar, erros, fraude, na modelagem? Não conseguiu entender a lógica da análise porque o processo não está documentado?

9 Alguma vez...? questionou se o resultado final da modelagem atualizou com novos dados? não teve certeza como mudanças na modelagem afetam o seu resultado final? Teve dificuldade em colaborar ou trabalhar em conjunto por ter dificuldade em entender e modificar a modelagem de terceiros?

10 É provavél que sim porque..
Planilha é o programa adequado para tarefas que envolvem análises simples, diretas, sem encadeamento Orçamentos: Fácil Introduzir, ver e modificar dados e comentários Contabilidade: Dimensão reduzida (DR & Balanço) Estatística simples: soma, média, mínimo / máximo, gráficos

11 É provavél que sim porque..
Planilha não é o programa mais adequado para análises de dados mais complexas Baixar dados de diferentes formatos, fontes Limpar, formatar, manipular, indexar, agregar, filtrar dados Implementar modelagem numérica, estatística, simbólica (álgebra), documentando todo o processo para entender diferença de resultados Testar / “backtesting” e visualizar análises Repetir este processo quantas vezes necessárias,comparando resultados Documentar métodos, processos, comentários, resultados, conclusões

12 A análise quantitativa é um processo
Método científico / analítico Pensar em problema Formular hipótese Procurar dados Formatar dados Implementar hipótese: Estatística Modelagem económica Testar / “Backtesting” para quantificar eficácia do modelo / algoritmo Refletir sobre resultados GOTO 2 até ficar satisfeito com o “melhor” modelo preditivo Implementar análise prescritiva combinando algoritmo preditivo com a base de dados da empresa (stocks, encomendas) através de modelagem numérica - otimização Desenvolver Interface gráfico para utilizador

13 A análise quantitativa é um processo
É também uma arte: tem de ser aberta, transparente facilitar colaboração, atualizações, adaptações para se adaptar às mudanças. economia de escala de trabalho e conhecimento, eliminando repetições manuais Dado a complexidade do processo, tudo tem de ficar documentado em código e em texto

14 Passando para a fase seguinte
Cada fase da análise quantitativa (descritiva, preditiva e prescritiva) tem como base a fase anterior Embora o objetivo final da análise seja recomendar decisões (análise prescritiva), a maior parte das empresas não passam da 1ª fase (descrição)

15 Passando para a fase seguinte
Gerentes têm acesso apenas à análise descritiva, interpretando-a, fazendo eles próprios estimativas preditivas e prescritivas sem qualquer método, nem testando eficácia das suas estimativas anteriores “Vendemos x número de produtos/serviços? Então, provavelmente... Iremos vender a mesma quantidade no próximo período Teremos que aumentar o stock em x%

16 Passando para a fase seguinte
A maioria das empresas não passam da análise descritiva. Porquê? Porque construir modelagem com capacidade descritiva, preditiva e prescritiva requer fluxo / processo / sistemas, mas... ...as planilhas quebram com complexidade.

17 Há alternativa à planilha?
VBA, Java, MATLAB, SAS? Necessário programadores / software propietário Ao contrário da planilha, dados ficam “longe” do utilizador. É difícil: introduzir dados, ver, modificar, fazer cálculos

18 A solução - R & Python As linguagem de programação mais utilizadas por analistas de Data Mining e Análise Preditiva ghjgjghj

19 A solução - R & Python Apresentações sobre Python
Computação científica

20 Vantagens Transparência
Documentação detalhada do princípio ao fim da análise, facilidade de auditoria de erros/fraudes Facilidade de colaboração entre analistas

21 Vantagens Escala de trabalho - não é necessário repetir os mesmos cliques e copy-paste de conhecimento - possível acrescentar novos conhecimentos ao código antigo. Esforço dedicado na aprendizagem e automatização, mas não na sua implementação diária.

22 Vantagens Flexibilidade / Agilidade
Linguagens “limpas” - fácil de entender, alterar, de fazer análise exploratória de dados (ao contrário do VBA,apropriada apenas para automatizar processos) Facilidade em alterar / adaptar código Compatibilidade com quase todos os formatos de dados (xls, xlsx, csv, tsv, txt, json, sql, etc.) Fácil integração com websites através de APIs

23 Vantagens Amplas bibliotecas estatística e númericas
Graphical User Interface Facilidade de criar interface gráfico

24 Modelo de negócio Cliente recebe trabalho da 1ªfase (Análise descritiva) Apenas paga se desejar continuar a modelagem analítica Case contrário, não paga qualquer valor pelo trabalho que recebeu 1. Análise Descritiva 2. Análise de diagnóstico / descoberta 3. Análise Preditiva O modelo de negócio visa minimizar os riscos para todas as partes. O “contrato” de pagamento é simples O cliente paga pelo serviço de cada fase do projeto apenas se decidir continuar para a fase seguinte. 4. Análise Prescritiva 5. Interface gráfico

25 Modelo de negócio - Serviços
Análise Descritiva Estatística, Análise económica e de mercado Análise de Diagnóstico e de Descoberta Clusterização / Segmentação de clientes e mercados com técnicas de Machine Learning Análise Preditiva Secções Cruzadas e dados em painel Classificação Quantificação de Probabilidade Séries Temporais Análise Prescritiva / Recomendações de decisões automatizadas Otimização e Simulação Interface Gráfico de Utilizados Integrando e automatizando todas as fases anteriores

26 Conclusão Programar análise de dados é uma nova forma de trabalhar.
Com Modelagem Analítica você pode testar as vantagens deste novo modelo sem qualquer risco ou compromisso.