ACO – From Real To Artificial Ants ACO- Ant Colony Optimization From Real To Artificial Ants Rafael Cruz - PESC Disciplina: Inteligência de enxame Professor:

Apresentação em tema: "ACO – From Real To Artificial Ants ACO- Ant Colony Optimization From Real To Artificial Ants Rafael Cruz - PESC Disciplina: Inteligência de enxame Professor:"— Transcrição da apresentação:

1 ACO – From Real To Artificial Ants ACO- Ant Colony Optimization From Real To Artificial Ants Rafael Cruz - PESC Disciplina: Inteligência de enxame Professor: José Manoel de Seixas

2 ACO – From Real To Artificial Ants Referência CH 1 – From real to Artificial Ants “Ant Colony Optimization” Marco Dorigo and Thomas Stützle Marco Dorigo*: Diretor de pesquisas FNRS – (Fundo Belga para Pesquisa Cientifica) Co-Diretor IRIDIA – Lab. de intel. artificial da universidade de Bruxelas. Inventor da metaheuristica ACO *Fonte: Amazon.com

3 ACO – From Real To Artificial Ants 1 From Real to Artificial Ants Colônias de formigas (sociedades de insetos): Indivíduos simples que possuem estrutura social bem organizada. Executam tarefas complexas que vão além da capacidade de uma única formiga “Ant Algorithms” : Modelos inspirados na observação do comportamento que levam as formigas a atingirem tal organização. Algoritmos para soluções de problemas de otimização e problemas de controle distribuídos.

4 ACO – From Real To Artificial Ants 1 From Real to Artificial Ants Colônias de formigas – Inspiração: Busca por alimentos, divisão do trabalho, transporte cooperativo, etc. “Stigmergy” : Comunicação através da mudança do ambiente. Ex: feromônios. “Ant Algorithms” - Ideia : “Artificial Stigmergy” para coordenar sociedade de agentes artificiais

5 ACO – From Real To Artificial Ants 1 From Real to Artificial Ants “Ant Algorithms” - ACO (Ant Colony Optimization) - Inspirado no comportamento visto durante a procura por alimentos. Utilização : Problemas de otimização discreta É o algoritmo estudado no livro.

6 ACO – From Real To Artificial Ants 1.1 - Ants’ Foraging Behavior and Optimization Formigas quase não enxergam. feromônio: química produzidas pelas formigas. “Trail pheromone”: Usado na marcação de caminhos. Guiam as formigas do ninho até fontes de alimento. Fonte de Inspiração para ACO: como o ato de depositar e seguir feromônios, realizado por uma formiga, influencia as demais.

7 ACO – From Real To Artificial Ants 1.1.1 Double Bridge Experiments Deneubourg, Aron, Goss, & Pasteels, 1990; Goss et al., 1989 Variar proporção de dois desvios r = l/s (long/short)

8 ACO – From Real To Artificial Ants 1.1.1 Double Bridge Experiments (a) Mesmo tamanho Ao acaso as formigas inicias escolhem um dos dois caminhos Eventualmente um dos dois caminhos irá ter maior quantidade de feromônio Esse caminho passa a ser o escolhido (auto catalisação) (b) r=l/s=2 Formigas que pegam o menor caminho chegam primeiro. Maior quantidade de feromônio é depositada. Auto catalisação e diferenciação baseada no tamanho do caminho podem ser observados. Pequena porcentagem não segue o caminho mais curto : “exploração de novos caminhos”

9 ACO – From Real To Artificial Ants 1.1.1 Double Bridge Experiments (c) Adição de um novo caminho menor após 30 minutos A maioria continua no caminho mais longo. Maior concentração de feromônios Evaporação do feromônio ocorre muito devagar de forma que o caminho sub-ótimo continua sendo usado.

10 ACO – From Real To Artificial Ants Deneubourg, Aron, Goss, & Pasteels, 1990; Goss et al., 1989 Dinâmica da colônia baseada no experimento com uma bifurcação formigas por segundo a v cm/s depositando 1 feromônio no caminho de comprimento l s e l l centímetros (short / long) r = l s / l l Tempo de travessia: t s = l s / v segundos, t l = r*t s : quantidade de feromônio p is (t) : probabilidade da formiga escolher caminho s (short) no ponto i. A probabilidade em função da quantidade de feromônio p is (t) + p il (t) = 1 1.1.2 A Stochastic Model

11 ACO – From Real To Artificial Ants 1.1.2 A Stochastic Model Quantidade de feromônio é proporcional a quantidade de formigas que passaram pelo trajeto (não considera evaporação) foi obtido por experimentos, assim como a eq 1.1 Ex: Variação de feromônio em t, no desvio s no ponto 1 fluxo de formigas X probabilidade de escolher s no ponto 2 em (t-t s ) + fluxo de formigas X probabilidade de escolher s no ponto 1 em (t)

12 ACO – From Real To Artificial Ants 1.1.2 A Stochastic Model Simulação do sistema proposto Monte Carlo r=1 e r = 2, 1000 simulações para cada Resultados (a) r =1, gráfico do desvio s Converge para um dos dois desvios (s=l) Grande concentração em 0-20 ou 20-80% (b) r = 2, gráfico do desvio s Grande concentração em 80-100% Maioria toma o menor desvio.

13 ACO – From Real To Artificial Ants 1.1.2 A Stochastic Model Outras considerações No modelo feromônios são depositados na ida e na volta Se só for depositado em um caminho, verificou-se que as formigas não encontrariam o menor caminho (Deneubourg, 2002).

14 ACO – From Real To Artificial Ants 1.2 Toward Artificial Ants Verificou-se, através de regras probabilísticas, que as colônias acham o menor caminho entre o ninho e a fonte de comida Obtendo uma modelagem discreta para o problema “Double Bridge” Grafos Arestas de comprimento inteiro tempo discreto v (velocidade) de uma unidade de comprimento por unidade de tempo A cada passo t, uma unidade de feromônio é depositada na aresta p is (t) : probabilidade da formiga escolher caminho s (short), qdo em i. : quantidade de feromônio que formiga no nó i encontra no desvio s i = {1,2}. Tb vale quando para desvio l. m i (t) : número de formigas no nó i, no tempo t.

15 ACO – From Real To Artificial Ants 1.2 Toward Artificial Ants Formulação proposta Ex: Qtde de feromônios no tempo t, no caminho s, quando em 1: qtde anterior (t-1) + formigas que anteriormente foram por s estando em 1 + formigas que anteriormente foram por s estando em 2

16 ACO – From Real To Artificial Ants 1.2 Toward Artificial Ants Formulação proposta Formigas em 1: Formigas em 2 que foram (t-1) por s ou por l. Duas representações em grafos do problema

17 ACO – From Real To Artificial Ants 1.2 Toward Artificial Ants Simulações r = 2, t = 100 200 formigas O sistema convergiu para o menor caminho, assim como ocorreu na simulação de Monte Carlo. O modelo considerou o comportamento geral do sistema e não o de cada formiga.

18 ACO – From Real To Artificial Ants 1.3 Artificial Ants and Minimum Cost Paths Objetivo: Obter um algoritmo que resolvam problemas de minimização de custos em grafos mais complexos que o visto. Problema: Loops Se depositar feromônios na ida, loops irão conter grande quantidade. Solução: Usar uma formiga com memória Não depositam feromônio na ida Formigas passam a armazenar caminho feito Ao chegar na comida, removem loops Aproveitando Avaliação do caminho feito e depósito de feromônios com base no tamanho percorrido (sem loops). Ex: 100/2 =50 feromônios por aresta VS 100/20 = 5 por aresta

19 ACO – From Real To Artificial Ants 1.3 Artificial Ants and Minimum Cost Paths S-ACO - Simple ACO – Características do modelo Probabilistic forward ants and solution construction Dois modos: Forward e Backward Quando em forward, escolhe probabilisticamente próximo nó. Não depositam feromônio Deterministic backward ants and pheromone update Análise do caminho realizado na ida (memória) Eliminação de loops Deposita feromônios Pheromone updates based on solution quality Lasius Niger: Formiga que deposita mais feromônio quando retorna de alimento mais “rico” Pheromone evaporation Decaimento artificial. Ex: taxa constante. Se mostrará bastante útil

20 ACO – From Real To Artificial Ants 1.3.1 S-ACO Ants’ Path-Searching Behavior A cada nó informações locais ou sobre os arcos são avaliadas Nó i, formiga k, quantidade de feromônio na aresta ij (inicialmente 1) : vizinhos de i menos o vértice de onde veio (se não vazio). O tempo de chegada no alimento varia de formiga para formiga

21 ACO – From Real To Artificial Ants 1.3.1 S-ACO Path Retracing and Pheromone Update Ao chegar na comida, loops são removidos Não necessariamente os maiores: 5 - 3 -2 - 8 - 5

22 ACO – From Real To Artificial Ants 1.3.1 S-ACO Path Retracing and Pheromone Update Ao retornar, deposita feromônios Se o incremento for constante, somente uma diferenciação baseada no tamanho do caminho é realizada. Caminhos menores terão maior concentração pelo fato das formigas retornarem mais rápido. Um incremento em função do tamanho poderia trazer uma convergência mais rápida.

23 ACO – From Real To Artificial Ants 1.3.1 S-ACO Pheromone Trail Evaporation Evita convergência para um caminho sub-ótimo Após formiga se mover, evaporação é computada p E (0,1] Um ciclo completo to S-ACO envolve: Mover formigas Evaporação Depósito de feromônio

24 ACO – From Real To Artificial Ants 1.3.2 Experiments with S-ACO Avaliação realizada em relação a convergência ao custo mínimo (menor caminho) Conforme o algoritmo roda com um aumento no número de iterações, a probabilidade da formiga selecionar os arcos do menor caminho se aproxima de 1. A probabilidade de selecionar os demais se aproxima de zero. Dois grafos: “double bridge” e “extended double bridge”

25 ACO – From Real To Artificial Ants 1.3.2 Experiments with S-ACO Extended double bridge – S - ACO Muitos caminhos possíveis (sub-ótimos) Loops Interesse em que todas as formigas sigam o melhor caminho Problemas NP dificeis e de roteamento: tempo e mudanças no custo são muito importantes Serão estudados a frente.

26 ACO – From Real To Artificial Ants 1.3.2 Experiments with S-ACO Número de formigas e “double bridge” Comparar o modelo (1.4) a (1.7) com o comportamento real Rodou-se S-ASO com diferentes números de formigas. Em 1: Depósito de feromônios constante (eq 1.9) Em 2: : L é o tamanho do caminho da K-esima formiga p (evaporação) = 0 para ambos

27 ACO – From Real To Artificial Ants 1.3.2 Experiments with S-ACO Número de formigas e “double bridge” Updates sem considerar qualidade do caminho Convergência em 100 tentativas sempre ocorreu com 512 formigas Com poucas formigas o caminho mais longo tem frequência alta Updates considerando a qualidade do caminho Resultados convergem muito mais para o menor caminho Com 8 formigas já convergiu Alterações no (1.8) Variação de 1 a 2, com incremento de 0.25. No 1º caso (update constante): Efeito negativo. Converge próximo a 1 No 2º caso (update constante): Praticamente independente Concluiu-se que com o valor de 1 há melhor convergência Se um maior caminho for selecionado aleatoriamente, maiores valores tendem a amplificar as escolhas iniciais, amplificando portando o efeito da aleatoriedade.

28 ACO – From Real To Artificial Ants 1.3.2 Experiments with S-ACO Evaporação do feromônio : “extended double bridge” m=128 formigas p E {0,0.01,0.1} : evaporação Quando formiga retorna, tira-se a média do tamanho dos 4*m últimos caminhos achados = 1 Se após 5000 iterações formiga não chega ela é reiniciada Observar que melhor trajeto de ida tem 5 arestas

29 ACO – From Real To Artificial Ants 1.3.2 Experiments with S-ACO Evaporação do feromônio : “extended double bridge”

30 ACO – From Real To Artificial Ants 1.3.2 Experiments with S-ACO Evaporação do feromônio : “extended double bridge” Sem feromônio: não converge Com feromônio: converge para solução ótima ou subótima 10 passos ida e volta: p=0.1 é muito alta (65% de evaporação nos arcos) p=0.01 : 10% de evaporação após 10 passos Observações mostraram que : não houve loop nos caminhos quando há convergência quanto maiores e p, maior convergência para soluções subótimas p=0.2 convergiu para 7,8 e 2x para 6 p=0.01 convergiu para 5 em todas as tentativas aumentar piora resultados pois acentua aleatoriedade inicial.

31 ACO – From Real To Artificial Ants FIM