Sistemas de Informação Inteligentes Aula 1 Nadilma Nunes

Conceitos – Visão geral Data Warehouse (armazém de dados) – armazenar informações relativas às atividades de uma organização em bancos de dados, de forma consolidada. Data Mart (repositório de dados) – é sub-conjunto de dados de um Data warehouse. Business Intelligence (Inteligência empresarial) – refere-se ao processo de coleta, organização, análise, compartilhamento e monitoramento de informações que oferecem suporte a gestão de negócios. Data Mining (Mineração de Dados) – processo de exploração de grandes quantidades de dados a fim de reunir grupos semelhantes (padrões) para detectar relacionamentos entre variáveis e assim detectar novos subconjuntos de dados.

Hoje... Introdução sumarizada: o que é mineração de dados? – Para que serve? – Como se relaciona com outras disciplinas/técnicas/áreas? Descoberta de conhecimentos em bancos de dados. – Passos do processo. – Relação com mineração de dados

Motivação Crescimento explosivo na capacidade de gerar e coletar dados: – Científicos (coleta automática por sensores). – Sociais (censos, pesquisas). – Econômicos e comerciais (transações bancárias e comerciais de código de barras). Crescimento na capacidade de relacionar estes dados Crescimento na capacidade de armazenar estes da Crescimento (ainda não suficiente) na capacidade de processar estes dados.

Volume de dados Stanford Linear Accelerator Center (SLAC): mais de um petabyte de dados coletados e armazenados – Um petabyte = G Uma cena de satélite Landsat, 3 bandas (185x185k resolução 30x30m): 108M – Imagem de todo o território brasileiro: 26.4G CERN: espera chegar em 5 a 20 petabytes. Dados gerados automaticamente: – Bilhões de chamadas telefônicas por dia. – Dezenas a milhões de registros/dia em logs de servidores – Tráfego de rede. – Impossível armazenar dados! Análise deve ser feita on-the-fly – Questão da privacidade.

Perguntas Quem vê tudo isso? – É viável? É automatizável? Como identificar padrões, exceções, tendências e correlações? O que existe de interessante nestes dados? – Como definir interessante ?

Como processar esses dados Consultas simples? SQL resolve: – Quem comprou queijo gorgonzola? – Quem comprou queijo e vinho? – Qual é o gasto médio das compras deste perfil? E descoberta de novas associações e conhecimentos? – Qual item é comprado com mais freqüência juntamente com vinho? – Quais conjuntos de itens são comprados com mais freqüência? – Como prever perfis de consumo? – Como prever que usuários vão mudar de provedor? – Como identificar coisas parecidas? – Como identificar o que é diferente do resto? – Porquê? Procuramos novas informações sobre os dados e não comprovar informações já consideradas

Definições Data Mining: é um dos processos de Descoberta de Conhecimento em Banco de Dados (KDD) Processo geral de descoberta de conhecimentos úteis (previamente desconhecidos) a partir de (grandes) bancos de dados Processo em várias etapas interdependentes, que podem ser repetidas e que nem sempre tem distinções claras entre si. Definir: conhecimento, útil, bancos de dados. Considerar: dados previamente desconhecidos, grande BD

Processo de KDD Compreender o domínio da aplicação, entender as expectativas do usuário final do processo. Criar/selecionar uma coleção de dados para aplicação Pré-processar e limpar os dados (eliminar impureza de dados irrelevantes). Transformar (reduzir e reprojetar) os dados (encontrar atributos úteis e interessantes). Escolher a tarefa, métodos, modelos, parâmetros, etc do processo de data mining e executar este processo. Interpretar os resultados, iterar se necessário. Consolidar o conhecimento, resolver conflitos, iterar se necessário.

Processo KDD

KDD/DM não é...

Data Mining Envolve várias áreas de conhecimento: – Estatística e Matemática. – Computação Aplicada (Inteligência Artificial, Machine Learning). – Visualização de Dados (Computação Gráfica). – Bancos de Dados. – Sistemas Distribuídos, Algoritmos Paralelos, Alta Performance. Áreas de aplicação: – Economia, comércio eletrônico, marketing, detecção de fraudes. – WWW. – Bioinformática e medicina

Data Mining Tarefas principais: – Classificação: aprendizado de uma função que mapeia um dado em uma de várias classes conhecidas. – Regressão (predição): aprendizado de uma função mapeia um dado em um valor real. – Deteção de desvios: identificação de dados que deveriam seguir um padrão mas não o fazem

Aplicações de Sucesso Amazon: recomendações de livros e interesses – Usuário compra mais de um livro, a associação é armazenada e usada para recomendações. Verizon Wireless: redução de desistências contratuais – Verificou que tipo usuários tinham tendência maior a mudar de operadora, fez marketing/ofertas específicas a perfis Análise de crédito – Como avaliar o risco de oferecer crédito para um cliente? – Quem é mais confiável precisa menos de crédito!

Data Mining e Privacidade... Dados pessoais (histórico bancário, saúde, censo, etc. já são coletados). Alguns podem ser coletados sem esforço: – Logs de navegação. – Compras. – Localização e movimentação. Até que ponto isso pode ser feito de forma: – Ética? – Que mantenha a privacidade? – Que possa ser útil?

Em resumo... Dados para mineração: – Transacionais, séries temporais, texto, multimídia, heterogêneos, legados, WWW, etc. Conhecimento a ser extraído: – Caracterização, discriminação, associação, classificação, tendências, desvios, etc. Técnicas utilizadas: – Técnicas de bancos de dados, machine learning, estatística, IA, visualização, etc. Aplicações – Vendas/marketing, telecomunicações, bancos/mercados financeiros deteção de fraudes, bioinformática, medicina, WWW, etc.

Exercício Verificar em mining_course/course_notes.pdf exemplos de aplicação de Data Mining. mining_course/course_notes.pdf Ver se existe algum exemplo com alguma similaridade ou aplicabilidade ao seu TCC. Pesquisar a ferramenta WEKA e trazer na próxima aula um exemplo prático de Data mining. (Valendo até 2 pontos na prova!!)