Fundamentação Teórica • AGs: Algoritmos de busca baseados nos mecanismos de seleçãoo natural e na genética. Implementam estratégias de buscas paralelas.

Apresentação em tema: "Fundamentação Teórica • AGs: Algoritmos de busca baseados nos mecanismos de seleçãoo natural e na genética. Implementam estratégias de buscas paralelas."— Transcrição da apresentação:

1 Fundamentação Teórica • AGs: Algoritmos de busca baseados nos mecanismos de seleçãoo natural e na genética. Implementam estratégias de buscas paralelas e aleatórias para solucionar problemas de otimização [Goldberg 1989]. • Para implementação é necessário: Representação do problema no formato de um código genético População inicial que contenha diversidade suficiente Método para medir a qualidade de uma solução (fitness) Procedimento de combinação para gerar novos indivíduos Critério de escolha das soluções que permanecerão na população ou serão retirados Procedimento para introduzir novas alterações em algumas soluções da população.

2 Problemas Complexos •Meta-heurística Tabu (Kurahashi S.; Terano T., 2000.) •Evolução Cooperativa (Potter, M.A.; De Jong K., 2000) •Criação de Nichos (Hiroyasu T.; Miki M.;Watanabe S., 1999)

3 • AGS são apropriados para problemas complexos, mas algumas melhorias devem ser feitas, permitindo trabalhar com problemas multimodal e multiobjetivo. — Sharing ou Compartilhamento de Recursos - reduz o valor de aptidão de indivíduos que tem membros altamente similares dentro da populaçao; Evolução Cooperativa – força a competição entre espécies Integração de Algoritmos Genéticos com Algoritmos de Busca – Simulated annealing, Hill climbing, Busca tabu, entre outros. Técnicas para Melhorar AGs

4 Sharing • Limita o crescimento descontrolado de espécies particulares dentro de uma população; • Força uma maior diversidade populacional • Similaridade pode ser medida tanto no espaço genotípico como no espaço fenotípico; – Genotípico: atributos iguais entre dois indivíduos – Fenotipico: exemplos de treinamento cobertos pela regra. (GOLDBERG; RICHARDSON, 1987)

5 Meta-heurística Tabu - [Kurahashi e Terano, 2000]. AG Candidatos (t+1)População (t) tabu muta₤₧o Renovado passou similar

6 Evolução Cooperativa - [Potter e De Jong 2000] Esp₫cie - 1 EA Popula₤ ₧o indivíduo fitness representante Modelo do Domínio Esp₫cie 1 - Avalia₤₧o Esp₫cie - 2 EA Popula₤₧o Esp₫cie - 3 EA Popula₤₧o indivíduo fitness representante indivíduo fitness representante Esp₫cie 3 - Avalia₤₧o Esp₫cie 2 - Avalia₤₧o Esp₫cie - 3 EA Popula₤₧o representante Modelo do Domínio Modelo do Domínio Esp₫cie - 1 EA Popula₤₧o Esp₫cie - 2 EA Popula₤ ₧o Esp₫cie - 1 EA Popula₤₧o Esp₫cie - 2 EA Popula₤₧o Esp₫cie - 3 EA Popula₤ ₧o

7 Criação de Nichos [Hiroyasu T.; Miki M.;Watanabe S., 1999]

8 GADBMS • GADBMS: sistema classificador baseado na indução de regras.  Utiliza um algoritmo genético restrito por x listas Tabu para efetuar a busca das regras ( x = quantidade classes) • Implementado em C++ com interface DOS • Conjuntos de dados devem estar armazenados em banco de dados

9 Arquitetura do GADBMS

10 Módulo Configura₤₧o • Recebe os parâmetros de entrada:probabilidade de cruzamento, mutação, probabilidade de criação de restrições vazias, medida de similaridade (genótipo / fenótipo), tamanho da lista longa e da lista curta, etc. • Arquivo contendo a seguinte informação: CLASSES 0,1,2. v1continuous. v21,2,3. v30,1. v41,2,3,4,5. v5continuous. v60,1. v7continuous. v8continuous.

11 Módulo GATABU • População IF v1 >= 0.85 AND v1 <= 1.26 v2 =1 v3 =* v4 =3 Then classes = 1 FITNESS = 0.81818182 3*11.260.851 403**2 50*1.02*1 3111.260.851 101*0.150 v4...v3v2v1(máx)v1 (min)classes

12 Módulo GATABU • Função de Aptidão – (VP + 1)/(VP+FP+K) VP, exemplos positivos corretamente classificados pela regra FP, exemplos negativos incorretamente classificados como positivos K, ₫ o número de classes no domínio

13 Módulo GATABU (AG Restrito)

14 Módulo GATABU • Similaridade: – Genótipo - quantidade de atributos similares ou id ₨ nticos na regra; – Fenótipo - quantidade de registros corretamente classificados pela regra. • Cruzamento em dois pontos; • Mutação: – Escolhe aleatoriamente um dos atributos e altera o valor de acordo com os valores pré-definidos no módulo de configuração.

15 Módulo Regras Extraídas • Reúne em um só conjunto as regras armazenadas nas Listas Longas para verificação da precisão do classificador; • Ordena de uma maneira apropriada; • Elimina regras que não cobrem nenhum exemplo no conjunto de treinamento; • Classe padrão será aquela que possuir mais registros não cobertos pelas regras; • Avalia as regras verdadeiras na base de teste;

16 • Conjuntos de dados analisados (UCI) (LIM;LOH;SHIH,1999;LOPES;POZO,2001) D - atributo discreto, C - atributo continuo, + dados com ruídos Experimentos Realizados 302435VOT+ 162435VOT 51031855SMO+ 5331855SMO 152532PID+ 72532PID 152345BLD+ 62345BLD Atributos (C) Atributos (D) ClassesTam.Nome

17 Resultados Obtidos 00:16:5800:01:56Tempo (hh:mm:ss) 44Distância 200 Popula₤₧o 0,3050 Taxa de erro 103Regras encontradas FenótipoGenótipo • Similaridade aplicada no conjunto de dados Smoke • Distância 4 – Genótipo: corresponde a quantidade de atributos iguais – Fenótipo: percentual de indivíduos cobertos (4 = 40%)

18 Resultados Obtidos – Precisão 0,25530,24860,23270,30750,2151MEDIA 0,04550,06110,04690,06620,0412VOT+ 0,05030,05820,04570,05800,0364VOT 0,30500,30680,30500,41100,3050SMO+ 0,30500,30080,30500,42400,3040SMO 0,27050,27780,25000,31800,2210PID+ 0,25760,25930,23800,31000,2210PID 0,42190,34750,34900,44100,3130BLD+ 0,38620,37750,32200,43200,2790BLD Mediana Max.MinNome GADBMSLOPES;POZOSHIHLOH;LIM;

19 – GADBMS obteve taxa de erro de 0,2553. – Comparado à taxa de erro dos 23 algoritmos apresentados por (LIM; LOH; SHIH, 1999; LOPES; POZO, 2001),que obtiveram taxa de erro de 0.2151 e 0.2486, GADBMS não é estatisticamente diferente desses algoritmos ao nível de 10%, pois a diferença entre eles não é maior que 0,058 (M₫todo Tukey). – De acordo com a análise de rank, GADBMS obteve a posição 15,2. Segundo HOLLANDER (1999), a diferença na m₫dia dos ranks maior que 8.7 ₫ estatisticamente significante ao nivel de 10%. Dos 22 algoritmos (LIM;LOH,SHIH,1999) a melhor posição ficou com o algoritmo QL1 (7,6) e a pior posição ficou com o algoritmo IB (19,1). Resultados Obtidos

20 Conclusões • Com o GADBMS as regras podem ser encontradas em apenas uma execução; • Uso de comandos SQL possibilita a execução do classificador em bases de dados relacionais; • Mostrou efici ₨ ncia trabalhando com populações pequenas; • Se encontrada uma função de aptidão adequada ao problema tratado, a precisão pode ser melhorada; • A medida de similaridade também mostra ser um parâmetro importante na busca das regras; • A classificação utilizando regras tem a vantagem de ser facilmente compreendida por humanos.

21 Trabalhos Futuros • Executar a ferramenta em conjuntos maiores de dados, analisando tamb₫m o tempo de execução e as regras encontradas; • Utilizar novos conjuntos de parâmetros e funções de aptidão que possam vir a aumentar a precissão do classificador; • Encontrar uma medida de distância adequada que possa ser aplicada indiferente aos tipos de atributos que estão sendo avaliados; • Utilizar novas heurísticas na busca das regras, como a utilização da Evolução Cooperativa.

22 Programação Genética $ Programação Genética (PG): método de indução de programas baseado na seleção natural das espécies. $ Objetivo: evoluir uma população de programas candidatos à solução de um dado problema. $ Função de aptidão ao ambiente (fitness): mede a habilidade de um programa para resolver um problema

23 Funcionamento da PG $ É feito iterativamente em quatro etapas: $ 1. Gera-se população inicial de programas de forma aleatória $ 2. Avaliação dos programas (função de aptidão) $ 3. Com base nos valores de aptidão, programas sofrem ação de operadores genéticos: reprodução, cruzamento, mutação $ 4. Aplicação dos operadores genéticos segue até que uma nova população tenha sido gerada

24 + * X X 2

25 Exemplo de criação de programa • Terminais: T={A,B,C} • Fun₤ões: F={+,*,%,If,Lte} • Come₤e com + e 2arg • Continue com * e 2arg • Complete com terminais A,B,C • O resultado é um prog. Executavel, Closed + + * + * AB C

26

27

28 Mutuação 2 tipos de mutuções são possiveis Uma função pode substituir uma função ou um terminal pode substituir outro; Um subtree pode ser substituido o novo subtree é gerado aleatoriamente ao igual que a população inicial.

29

30 Implementação Lil-gp: ferramenta de PG Problema da Formiga de Santa Fé

31 Melhorando a Taxa de Erro na Tarefa de Classificação Celso Yoshikazu Ishida, Dra. Aurora T. R. Pozo celsoishida@ig.com.br, aurora@inf.ufpr.br Departamento de Informática, Universidade Federal do Paraná, Centro Politécnico, Jardim das Americas 81531-970 Curitiba - PR, Brazil

32 Resumo Introdução Objetivos do Trabalho DM, Classificação GGP GPSQL Miner Experimentos Conclusão

33 Mineração A atual “era da informação” é caracterizada por uma expansão extraordinária do volume de dados. Esta situação tem gerado demandas por novas técnicas e ferramentas que, com eficiência, transformem os dados armazenados e processados em conhecimento útil.

34 Classificação Dado um conjunto de instâncias. A tarefa de classificação encontra uma descrição lógica (modelo) para um atributo objetivo a partir de um conjunto de atributos descritores.

35 IF C.Estuda = ‘Não’ and C.Trabalha = ‘Sim’ and V.PrecoVenda = T.Preco THEN T.Tipo = ‘Laptop’ ELSE IF C.Trabalha = ‘Sim’ and T.Preco < V.PrecoVenda THEN T.Tipo = ‘Desktop’ ELSE IF C.Estuda = ‘Sim’ and T.Preco > V.PrecoVenda THEN T.Tipo = ‘Handheld’

36 GPSQL Miner ? Classificação em SGBD com GGP GP - Genetic Programming SQL - formato do classificador é SQL Miner - ferramenta para mineração de dados

37 GPSQL Miner – GP ? Porque utilizar GP ? Manipula dados inválidos e imprecisos. São dados que podem impossibilitar a um algoritmo encontrar uma solução adequada para o problema. Fácil adaptação a diferentes aplicações Procura paralela implícita pelo espaço de busca

38 Automatizar o processo Uma vez que o sistema gera automaticamente a gramática de acordo com a base de dados Para gerar apenas soluções válidas (indivíduos) Orientar operações genéticas GPSQL Miner – GGP ? Porque GGP ?

39 GPSQL Miner Porque utilizar SGBD ? R: Para aproveitar as vantagens: [Freitas] Informações em SGBD (DataWarehouse) Re-utilização e  redundância Recursos SGBD: Escalabilidade Controle de segurança e privacidade Paralelismo (Parallel SQL Servers)

40 GPSQL Miner Porque utilizar SGBD ? Definição da gramática de acordo com o problema através da pesquisa de informações na base de dados Possibilitando a geração automática de classificadores

41 GPSQL-Miner IF C.Estuda = ‘Não’ and C.Trabalha = ‘Sim’ and V.PrecoVenda = T.Preco THEN T.Tipo = ‘Laptop’ ELSE IF C.Trabalha = ‘Sim’ and T.Preco < V.PrecoVenda THEN T.Tipo = ‘Desktop’ ELSE IF C.Estuda = ‘Sim’ and T.Preco > V.PrecoVenda THEN T.Tipo = ‘Handheld’ S ‘Laptop’ W C.Estuda = ‘Não’ and C.Trabalha = ‘Sim’ and V.PrecoVenda = T.Preco S ‘Desktop’ W C.Trabalha = ‘Sim’ and T.Preco < V.PrecoVenda S ‘Handheld’ W C.Estuda = ‘Sim’ and T.Preco > V.PrecoVenda

42 Programação Genética Usa um processo de evolução baseado em Darwin para inducir programas Inspirados na Teoria da Evolução: os indivíduos mais adaptados sobrevivem

43 Algoritmos Evolucionarios Uma população de individuos A noção de fitness Um ciclo de nascimento e morte baseados na fitness A noção de herança

44 Grammar Based Genetic Programming

45

46

47 Qualidade Classificador Capacidade de compreensão do conhecimento descoberto Tamanho Classificador Número de Regras Simplificação do Classificador Critérios subjetivos Taxa de Erro

48 GPSQL Miner SQL-BNF SQL Parameters BNF File GP Config File Oracle Evaluate Crossover Statistics File Mutation Statistics File

49 SQL Parameter File //Tables P -> Pessoa Com -> Endereco //Goal Column -> Compra Table -> L //Columns Column -> L.GENERO Column -> L.PAIS Column -> L.IDADE

50 Experimentos Comparação com 33 algoritmos 22 algoritmos de árvore de decisão 9 clássicos e modernos algoritmos estatísticos 2 algoritmos de redes neurais Databases: 16 databases 8 com ruído ‘+’

51 Execução Cada Database foi executado 10 vezes 10 sub-conjuntos distintos (ten-fold cross- validation) Train 90% e Test 10% Calculado o Accuracy do melhor indivíduo de cada Run Calculado a média de Accuracy

52 Comparação Foi feita a transformação de variáveis sugerida por [Box & Cox 1964] devido ao fato que as variâncias não se mostraram homogêneas. Detectou-se uma relação positiva entre as médias da variável resposta e a variabilidade dadas mesmas. Box, G.E.P. and Cox, D.R.(1964) An analysis of transformations. JRSS B 26:211-246.

53 Comparação A transformação Box-Cox tornou as variâncias homogêneas de acordo com os pressupostos das análises. Para comparação das médias foi utilizada a análise de variância para o modelo em blocos ao acaso e o teste de Tukey para comparação das médias. Programa R - http://www.r-project.org/

54

55 Conclusão Utilização SGBD ajuda na criação do arquivo BNF de acordo com cada base GPSQL Miner: Boa representação de conhecimento para problemas de Classificação É melhor do que XX algoritmos com 95% de segurança Arquivos de estatísticas podem ser usados para melhorar a própria ferramenta

56 Trabalhos Futuros Aplicação em outros domínios Melhorar performance (tempo) Adaptação automática de parâmetros Melhorar a Accuracy Criar outros operadores genéticos (dropping conditional) Melhorar os pontos de crossover e mutação Descoberta automática do número de regras