©2001 Paulo Adeodato Erros Comuns em Projetos Paulo Adeodato Grupo de Inteligência Computacional Centro de Informática Universidade Federal de Pernambuco.

Apresentação em tema: "©2001 Paulo Adeodato Erros Comuns em Projetos Paulo Adeodato Grupo de Inteligência Computacional Centro de Informática Universidade Federal de Pernambuco."— Transcrição da apresentação:

1 ©2001 Paulo Adeodato Erros Comuns em Projetos Paulo Adeodato Grupo de Inteligência Computacional Centro de Informática Universidade Federal de Pernambuco

2 ©2001 Paulo Adeodato Erros Comuns-1 * Falta de objetivos Reduzir a inadimplência na concessão de crédito Querer abraçar o mundo com as mãos É preciso compreender o sistema e identificar os problemas que se pretende resolver * Objetivos tendenciosos Experimento da minhoca no álcool Predileção por alguns sistemas t O objetivo passa a ser encontrar as métricas em que o NOSSO SISTEMA é melhor em vez de definir as que melhor comparam os sistemas

3 ©2001 Paulo Adeodato Erros Comuns-2 * Escolha inadequada / incorreta das medidas de desempenho Escolher as métricas mais simples em vez das mais relevantes / significativas Endividamento em valor absoluto em vez de índice relativo * Análise sem compreensão / definição do problema Falta de experiência, de visão de conjunto Ver o modelo como um fim, não um meio Não consultar os usuários do sistema Experimento da aranha surda

4 ©2001 Paulo Adeodato Erros Comuns-3 Especificação do projetoComo foi produzido Como foi avaliadoO que o usuário desejava

5 ©2001 Paulo Adeodato Erros Comuns-4 * Carga de trabalho não representativa da utilização Desempenho de um sistema de análise de risco de crédito na carteira de clientes de uma financeira Podem ser truques para favorecer certos sistemas Pesquisa eleitoral por telefone * Escolha inadequada da técnica de avaliação Se restringir a aplicar apenas as técnicas que domina para resolver o problema t “Há pessoas que acham que tudo que vêem é cabeça de prego só porque têm habilidade apenas com o martelo.” Deve-se conjugar o melhor de cada técnica

6 ©2001 Paulo Adeodato Erros Comuns-5 * Ignorar o efeito de fatores importantes desprezar fatores de elevada influência fazer a escolha com base no conhecimento do analista e não na importância observada (percepção do usuário, análise estatística das observações) * Nível de detalhe inadequado Modelo com muito pouco ou com excesso de detalhes Recomenda-se modelar em muito detalhe sistemas similares e em pouco detalhe sistemas bem distintos * Não fazer análise do problema Resultado: enormes arquivos de dados e relatórios com dados não interpretados/minerados

7 ©2001 Paulo Adeodato Erros Comuns-6 * Fazer uma análise inadequada do problema Tomar médias de razões (ex. velocidade média) Conversar com 2 amigos e dizer que todo o mundo acha a mesma coisa (isso é; concordam com você) * Falta de análise de sensibilidade Apresentar os resultados como verdade inquestionável, desconsiderando que eles dependem da amostra de dados * Ignorar erros na entrada dos dados Às vezes variáveis não podem ser medidas e são estimadas a partir de outras variáveis mensuráveis Às vezes valores são discretizados e, nem sempre, são uniformemente quantizados É necessário considerar esses erros

8 ©2001 Paulo Adeodato Erros Comuns-7 * Tratamento inadequado dos outliers Outliers trazem muita informação/conhecimento (baixa probabilidade - teoria da informação) Deve-se consultar o usuário para decidir se o outlier: t decorre de um erro t é válido e deve ser contemplado no modelo/explicação * Falta de projeção para o futuro Supor o problema estático (sem mudanças ao longo do tempo) Supor que não haverá qualquer mudança em relação às condições da avaliação É necessário definir o prazo de validade das projeções para o futuro

9 ©2001 Paulo Adeodato Erros Comuns-8 * Ignorar a variabilidade quando ela existe Tratar o desempenho pela média diária, quando o sistema tem um pico acentuado de utilização * Partir de uma análise inicial complexa Comum quando o modelo quer “abraçar o mundo com as mãos” decorrente de uma má definição de objetivos. “Um modelo deve ser o mais simples possível mas não mais simples.” Recomenda-se começar com um modelo simples para adquirir insights sobre o problema e, gradualmente, aumentar a sua complexidade. Apesar de requerer eventuais retornos a passos anteriores do processo, essa abordagem cria uma base sólida para detalhamento e expansões.

10 ©2001 Paulo Adeodato Erros Comuns-9 * Apresentar os resultados de forma inadequada Mostrar resultados em escala logarítmica sem deixar a escala evidente (e.g. terremotos na escala Richter) * Omitir as suposições e limitações feitas na análise Oferecer o resultado da pesquisa eleitoral omitindo que ela havia sido realizada por telefone