Ant Colony Optimization Theory Rio de Janeiro 2011 Disciplina: Inteligência de Enxame Docente: José Manoel Seixas Discente: José Dilermando Costa Junior

2 Introdução Considerações teóricas no ACO O problema e o algoritmo Provas de convergência ACO e MBS Considerações finais

3 Introdução Otimização metaheurística por colônia de formigas Tentativa e erro Tentativa e erro Construção teórica – problema de convergência Velocidade de convergência Velocidade de convergência Definição de parâmetros Definição de parâmetros Abordagens existentes Abordagens existentes Identificação de características do problema Identificação de características do problema Importância de diferentes componentes metaheurísticos Importância de diferentes componentes metaheurísticos Convergências de alguns algoritmos ACO para soluções ótimas Relação entre ACO e outras técnicas

4 Introdução Considerações teóricas no ACO O problema e o algoritmo Provas de convergência ACO e MBS Considerações finais

5 Considerações teóricas no ACO ACO apresenta definição ampla Vantagem: Permite que algoritmos baseados em formigas sejam aplicados à problemas de otimização de dados discretos. Permite que algoritmos baseados em formigas sejam aplicados à problemas de otimização de dados discretos. Problemas estáticos – problema do caixeiro viajante Problemas estáticos – problema do caixeiro viajante Problemas variantes no tempo – redes de telecomunicações Problemas variantes no tempo – redes de telecomunicações Primeiro aspecto teórico considerado – convergência O algoritmo encontra a solução ótima?

6 Considerações teóricas em ACO Quando se considera um algoritmo de otimização estocástico há pelo menos dois tipos de convergência: Convergência em valor – probabilidade de gerar uma solução ótima pelo menos uma vez Convergência em valor – probabilidade de gerar uma solução ótima pelo menos uma vez Convergência em solução – probabilidade de atingir um estado que mantém gerando a mesma solução ótima Convergência em solução – probabilidade de atingir um estado que mantém gerando a mesma solução ótima Convergência em valor - Convergência em solução -

7 Introdução Considerações teóricas no ACO O problema e o algoritmo Provas de convergência ACO e MBS Considerações finais

8 O problema e o algoritmo Exemplo de minimização do problema O objetivo é encontrar uma solução ótima, com custo mínimo. Para o exemplo foi considerado apenas problemas estáticos. Grupo de soluções Função objetivo Grupo de restrições

9 O problema e o algoritmo Características do problema: Grupo finito de componentes Grupo finito de componentes Grupo finito de estados do problema, Grupo finito de estados do problema, Todas sequências possíveis dos elementos de C Grupo de soluções S – Grupo de soluções S – Grupo de características - Grupo de características - Um grupo não vazio de soluções ótimas Um grupo não vazio de soluções ótimas

10 O problema e o algoritmo Formigas artificiais constroem soluções caminhando aleatoriamente pelo grafo construído Viés – trilhas de feromônio τ Início do algoritmo Para cada interação as formigas são posicionadas de acordo com um critério dependente do problema.

11 O problema e o algoritmo Restrições são utilizadas para impedir soluções inviáveis.

12 O problema e o algoritmo As trilhas de feromônio são atualizadas após todas formigas terem terminado o “AntSolutionConstruction” Taxa de evaporação – diminuição de feromônio nas conexões L com fator ρ Taxa de evaporação – diminuição de feromônio nas conexões L com fator ρ Aumento de feromônio nas conexões Aumento de feromônio nas conexões - melhor solução encontrada desde as primeiras interações do algoritmo (best-so-far solution) - melhor solução encontrada desde as primeiras interações do algoritmo (best-so-far solution) - melhor solução obtida na interação atual θ (interation-best solution) - melhor solução obtida na interação atual θ (interation-best solution) Diferentes esquemas de atualização do feromônio discutidos no cap. 3 podem ser descritos utilizando “GenericPheromoneUpdate” Função de qualidade

13 O problema e o algoritmo Algoritmos ACO podem utilizar diferentes funções de qualidade AS - AS - ANTS - ANTS -

14 Introdução Considerações teóricas no ACO O problema e o algoritmo Provas de convergência ACO e MBS Considerações finais

15 Convergência em valor O nível máximo possível de feromônio é limitado devido a evaporação do feromônio Preposição 4.1 Para qualquer Para qualquer O máximo de feromônio adicionado a qualquer arco (i,j) depois de qualquer interação é O máximo de feromônio adicionado a qualquer arco (i,j) depois de qualquer interação é A trilha de feromônio é limitada por A trilha de feromônio é limitada por Converge assimptoticamente Converge assimptoticamente

16 Convergência em valor Preposição 4.2 Uma vez que tenha sido encontrada a solução ótima Uma vez que tenha sido encontrada a solução ótima Valor da trilha de feromônio da solução ótima aumenta monotonicamente. Valor da trilha de feromônio da solução ótima aumenta monotonicamente. Lembrar Lembrar Preposição 4.1 Preposição 4.2 – conexões da solução ótima converge para

17 Convergência em valor Teorema 4.1 Sendo a probabilidade do algoritmo encontrar uma solução ótima pelo menos uma vez dentro das primeiras θ interações, então, para um valor arbitrariamente pequeno e para um grande θ: Sendo a probabilidade do algoritmo encontrar uma solução ótima pelo menos uma vez dentro das primeiras θ interações, então, para um valor arbitrariamente pequeno e para um grande θ: Como há limite inferior e superior de feromônio, a escolha do próximo passo tem probabilidade maior que zero. Como há limite inferior e superior de feromônio, a escolha do próximo passo tem probabilidade maior que zero. Limite inferior Limite inferior

18 Convergência em solução Difere da convergência em valor por permitir mudanças nos valores mínimos de feromônio nas interações O baixo limite de feromônio diminui em direção a zero, mas de forma lenta (velocidade logarítmica), garantindo que uma solução ótima seja encontrada Dois teoremas: Teorema 4.2 O mais baixo limite das trilhas de feromônio de é: A solução ótima é encontrada no limite com probabilidade 1 A solução ótima é encontrada no limite com probabilidade 1 Interação onde a solução ótima é encontrada pela primeira vez

19 Convergência em solução Para qualquer interação: Características de escolha: Características de escolha: Probabilidade limitada: Probabilidade limitada:

20 Convergência em solução Limite superior Para provar que este produto é igual a zero, considera o logaritmo, lembrando que, então :

21 Convergência em solução A probabilidade de não encontrar solução ótima é zero. As trilhas de feromônio que não pertencem a solução ótima convergem para zero. Teorema 4.3 Sendo θ * a interação que a solução ótima é encontrada pela primeira vez e a probabilidade de uma formiga K construir s * na θ- ésima interação, sendo θ > θ * então: Teorema 4.3 Sendo θ * a interação que a solução ótima é encontrada pela primeira vez e a probabilidade de uma formiga K construir s * na θ- ésima interação, sendo θ > θ * então: A probabilidade de uma formiga K localizada no componente i da conexão s * fazer a escolha correta é: A probabilidade de uma formiga K localizada no componente i da conexão s * fazer a escolha correta é: E no limite: E no limite:

22 Características adicionais dos algoritmos ACO Melhorar as soluções construídas pelas formigas – uso de algoritmo de busca local. Escolha do próximo passo – uso de informação heurística. Busca Local A melhor solução encontrada pela busca local é utilizada na atualização das trilhas de feromônio. Não afeta as características de convergência.

23 Características adicionais dos algoritmos ACO Melhorar as soluções construídas pelas formigas – uso de busca local do algoritmo. Escolha do próximo passo – uso de informação heurística. Informação heurística Faz uso de uma informação prévia para enviesar as decisões probabilísticas. Mais comum utilizar Medida heurística desejada

24 O que a prova realmente diz? Revendo: Teorema 4.1 – fixando um baixo limite positivo na trilha de feromônio é garantido encontrar a solução ótima (convergência em valor). Teorema 4.1 – fixando um baixo limite positivo na trilha de feromônio é garantido encontrar a solução ótima (convergência em valor). Teorema 4.2 – o solução ótima é encontrada diminuindo um limite mínimo de feromônio em direção à zero, mas de forma lenta (convergências em solução). Teorema 4.2 – o solução ótima é encontrada diminuindo um limite mínimo de feromônio em direção à zero, mas de forma lenta (convergências em solução). Teorema 4.3 – um decréscimo suficientemente lento de um baixo limite da trilha de feromônio leva a um efeito que o algoritmo converge a um estado no qual todas formigas constroem a solução ótima. Teorema 4.3 – um decréscimo suficientemente lento de um baixo limite da trilha de feromônio leva a um efeito que o algoritmo converge a um estado no qual todas formigas constroem a solução ótima.

25 Convergência de alguns algoritmos ACO Em geral o teorema 4.1 aplicado a qualquer algoritmo ACO com probabilidade P(s) de construir uma solução é sempre maior que uma pequena constante Consequência do fato que que é obtido: Definindo um valor mínimo para a trilha de feromônio. Definindo um valor mínimo para a trilha de feromônio. Limitando a quantidade de feromônio que cada formiga deposita a cada interação. Limitando a quantidade de feromônio que cada formiga deposita a cada interação. Deixar o feromônio evaporar com o tempo. Deixar o feromônio evaporar com o tempo. Pela forma particular da função escolhida. Pela forma particular da função escolhida.

26 Convergência de alguns algoritmos ACO MAX-MIN Ant System (MMAS) Utiliza um valor máximo de feromônio. Utiliza um valor máximo de feromônio. Utiliza uma regra mais geral de atualização do feromônio. Utiliza uma regra mais geral de atualização do feromônio. Para selecionar a conexão que será adicionado feromônio, permite escolher interation-best solution ou best-so-far solution. Para selecionar a conexão que será adicionado feromônio, permite escolher interation-best solution ou best-so-far solution.

27 Convergência de alguns algoritmos ACO Ant Colony System (ACS) Utiliza regra proporcional pseudo-aleatória que a cada passo a formiga escolhe: Utiliza regra proporcional pseudo-aleatória que a cada passo a formiga escolhe: A conexão com maior valor da trilha de feromônio (probabilidade q 0 ). Exploração enviesada (probabilidade 1-q 0 ) baseado na equação: Não utiliza evaporação de feromônio em todas conexões, apenas naquelas de melhor solução até o momento. Não utiliza evaporação de feromônio em todas conexões, apenas naquelas de melhor solução até o momento. Cada formiga utiliza atualização local da trilha de feromônio imediatamente após cruzar uma conexão. Cada formiga utiliza atualização local da trilha de feromônio imediatamente após cruzar uma conexão. Quantidade máxima de feromônio é limitada por Quantidade máxima de feromônio é limitada por Fração de feromônio evaporado Pequena quantidade de feromônio adicionado

28 Introdução Considerações teóricas no ACO O problema e o algoritmo Provas de convergência ACO e MBS Considerações finais

29 ACO e MBS No ACO metaheurístico, a atenção está direcionada ao procedimento de construção estocástica usado pelas formigas e como estas formigas usam soluções para enviesar o trajeto de futuras formigas, mudando valores de feromônio. Problema de otimização combinatorial: ACO – encontrar melhores soluções ACO – encontrar melhores soluções espaço de soluções MBS – maximizar a probabilidade de gerar boas soluções MBS – maximizar a probabilidade de gerar boas soluções Distribuição de probabilidade paramétrica No campo metaheurístico para otimização combinatorial, há duas aproximações antitéticas: Instance-based Instance-based Model-based Model-based

30 Model-Based Search (MBS) As soluções são geradas utilizando modelo probabilístico parametrizado, que é atualizado utilizando soluções prévias, concentrando desta forma em regiões que contém soluções de alta qualidade As soluções são geradas utilizando modelo probabilístico parametrizado, que é atualizado utilizando soluções prévias, concentrando desta forma em regiões que contém soluções de alta qualidade

31 MBS tenta resolver o problema de minimização em dois passos: Possíveis soluções são construídas usando alguns modelos probabilísticos parametrizados, isto é, a distribuição da probabilidade parametrizada sobre o espaço de solução. Possíveis soluções são construídas usando alguns modelos probabilísticos parametrizados, isto é, a distribuição da probabilidade parametrizada sobre o espaço de solução. Possíveis soluções são avaliadas e usadas para modificar o modelo probabilístico, a medida que futuros viés são considerados em direção à soluções de baixo custo. Possíveis soluções são avaliadas e usadas para modificar o modelo probabilístico, a medida que futuros viés são considerados em direção à soluções de baixo custo. A estrutura do modelo pode ser pré-fixada, atualizando os parâmetros do modelo Mudar a estrutura do modelo

32 Atualização dos parâmetros dos modelos: Stochastic Gradient Ascent (SGA) Stochastic Gradient Ascent (SGA) Cross-Entropy (CE) Cross-Entropy (CE) Substituindo minimização por maximização Assume que: É dado um expressivo espaço M de possíveis modelos probabilísticos É dado um expressivo espaço M de possíveis modelos probabilísticos A estrutura do modelo é fixada A estrutura do modelo é fixada E M é parametrizado por um vetor E M é parametrizado por um vetor Parâmetro dimensional

33 Problema de maximização: É equivalente para resolver o problema de otimização original É equivalente para resolver o problema de otimização original Stochastic Gradient Ascent (SGA) Stochastic Gradient Ascent (SGA) Utilizado como uma heurística para mudar Utilizado como uma heurística para mudar Substitui a expectância Substitui a expectância Valor esperado Função de qualidade

34 Stochastic Gradient Ascent (SGA) Tamanho do passo

35 Cross-Entropy (CE) Cross-Entropy (CE) Começa com uma mesma distribuição Começa com uma mesma distribuição Constrói uma série de distribuições para tentar aumentar a probabilidade de gerar soluções de baixo custo depois de cada interação. Constrói uma série de distribuições para tentar aumentar a probabilidade de gerar soluções de baixo custo depois de cada interação. Definindo igual a Definindo igual a Então a solução é a distribuição que minimiza Então a solução é a distribuição que minimiza Divergência de Kullback-Leibler Entropia cruzada

36 Maximização por CE

37 Atualização de feromônio com SGA no ACO Adição de feromônio Evaporação de feromônio

38 Introdução Considerações teóricas no ACO O problema e o algoritmo Provas de convergência ACO e MBS Considerações finais

39 Considerações finais É possível provar a convergência para sub-grupos dos algoritmos ACO. Convergência em valor – gera pelo menos uma solução ótima (Ex. ACS e MMAS). Convergência em valor – gera pelo menos uma solução ótima (Ex. ACS e MMAS). Convergência em solução – atinge uma situação que gera sempre a mesma solução ótima (Ex. GBAS e ACO bs,τmin(θ) ). Convergência em solução – atinge uma situação que gera sempre a mesma solução ótima (Ex. GBAS e ACO bs,τmin(θ) ). Viés introduzido no algoritmo não descarta a possibilidade de gerar soluções ótimas Algoritmos ACO pertencem a classe de algoritmos MBS. Algoritmos MBS utilizam modelo probabilístico parametrizado. Minimização por SGA e CE para atualização de feromônio podem ser utilizados.

40 Considerações finais Não foi falado sobre velocidade de convergência. Não foi falado sobre tempo computacional necessário para gerar soluções ótimas.

41