Métodos de Calibração de Modelos hidrológicos Carlos Ruberto Fragoso Júnior 1:05

Sumário Critérios de parada Conceito básicos Métodos de calibração O que é calibração? Problemas comuns na calibração de modelos hidrológicos Ciclo da calibração Métodos de calibração Função objetivo Técnicas numéricas Busca aleatória Técnicas iterativas; Busca direta; Técnicas de otimização global; Algoritmos genéticos Critérios de parada 3:50

O que é calibração Procura de valores dos parâmetros de um modelo matemático que resultem em uma boa concordância entre dados observados e calculados; O erro é minimizado!! 3:50

Calibração - Otimização Encontrar o mínimo ou o máximo de uma função 3:50

Problemas comuns em modelos hidrológicos Encontrar um conjunto ótimo de parâmetros que ajusta um evento de cheia ou uma série de vazões; Encontrar o coeficiente do reservatório linear simples que ajusta adequadamente uma recessão de vazão. 3:50

Problema: Encontrar o coeficiente do reservatório linear simples que ajusta adequadamente uma recessão de vazão. Q = V / k Q(t+dt) = Q(t) . exp(-dt/k) 3:50

3:50

3:50

Q(t+dt) = Q(t) . exp(-dt/k) Primeiro teste: k = 20 3:50

Problemas na calibração de modelos hidrológicos Modelos hidrológicos geralmente tem muitos parâmetros Não lineares Técnicas de otimização automáticas Usar Funções Objetivo 3:50

Ciclo da calibração Rodar o modelo Ajustar os Verificar o erro Critérios para um “bom ajuste” (Função objetivo) Critérios para mudança dos parâmetros Rodar o modelo Ajustar os parâmetros Verificar o erro Critérios de parada 3:50

Métodos de calibração Métodos de calibração Tentativa e erro (Manual) Técnicas numéricas Ajusta os parâmetros manualmente baseado nos resultados Usa algoritmos numéricos para encontrar um conjunto de parâmetros ótimo Aleatório Assume faixa de probabilidade para cada parâmetro 3:50

Funções Objetivo (FO) Medida do erro – objetivo é minimizar a FO Diferentes funções objetivo Somatório dos erros: compensação de erros Somatório do módulo dos erros Somatório dos erros ao quadrado Somatório de erros relativos Somatório dos desvios dos inversos da vazão Erro de volume (bias) Coeficiente de eficiência de Nash-Sutcliffe 3:50

Funções objetivo Raiz do Erro Médio Quadrado (RSME) 3:50

Funções objetivo Raiz do Erro Médio Quadrado Normalizado (NRSME) 3:50

Funções objetivo Coeficiente de correlação de Pearson 3:50

Funções objetivo Coeficiente de eficiência de Nash-Sutcliffe 3:50

Funções Objetivo Função quadrática Função módulo Função para mínimos Função relativa 3:50

Exemplo 3:50

Técnicas de otimização Cálculo analítico Técnicas numéricas Busca aleatória Busca direta Algoritmos genéticos 3:50

Cálculo analítico Encontrar pontos da função em que a derivada é zero. vantagens (pode ser rápido, é mais elegante) desvantagens (funções de picos múltiplos, funções descontínuas, ausência da forma analítica da função - por exemplo no problema de calibração de um modelo chuva-vazão) 3:50

Cálculo analítico - Conceitos Haverá sempre um ponto de máximo ou mínimo, seja no interior da região delimitada pelas restrições ou nos limites, desde que a função objetivo seja contínua. A condição necessária para que exista um ponto de máximo ou mínimo é a seguinte: pontos estacionários A condição suficiente para que um ponto estacionário seja um mínimo é a seguinte onde Ri são os menores principais da matriz Hessiana H. 3:50

3:50

Exemplo Determine o mínimo da função x1= 8 x2 = 2 y = -56 H = Matriz positiva definida 3:50

Técnicas numéricas - Busca Aleatória Vantagens: funções descontínuas; picos múltiplos Desvantagens: demorado; não existe garantia de atingir o ponto ótimo global “Ótimo” 3:50

Características das Técnicas Numéricas Definição do ponto de partida: o critério para inicializar o processo de tentativa em geral depende mais do problema em questão do que do método. Direção de pesquisa: a direção de pesquisa identifica o vetor no qual serão realizadas as alterações das variáveis. Espaçamento de cada tentativa: identifica a variação que ocorrerá na direção de pesquisa a cada tentativa. Critérios de parada: envolve a definição dos critérios para aceitar uma determinada solução como o ótimo de uma função. 3:50

Técnicas numéricas - Busca direta Estratégia de caminhar “morro acima” 3:50

Função objetivo: F(x1,x2) Máximo local Máximo global x1 3:50

Início: ponto coordenadas (parâmetros) aleatórias X2=valor aleatório entre c e d X1=valor aleatório entre a e b 3:50

Determina direção de busca: exemplo x2=x2+0,3; x1=x1 Função objetivo melhorou? Não, então tenta no outro sentido. 3:50

F.O melhorou? Sim, então continua no mesmo sentido 3:50

F.O melhorou? Sim, então continua no mesmo sentido 3:50

F.O melhorou? Sim, então continua no mesmo sentido 3:50

F.O melhorou? Não, então volta para o ponto anterior... 3:50

...e muda a direção de busca. F.O melhorou? Sim, então continua no mesmo sentido 3:50

E assim segue até encontrar um ponto em que não existe direção de busca que melhore o valor da FO 3:50

Método unidirecional 1. Direção de pesquisa paralela aos eixos; 2. Pesquisa em cada direção: espaçamento constante ou variável 3. Critério de parada desvantagens: (ao lado) 3:50

Método da rotação das coordenadas (Rosenbrook) Primeiro ciclo igual ao univariacional segundo ciclo com rotação duas alternativas para pesquisa em cada direção: método original que alterna a pesquisa de cada direção em cada tentativa; 3:50

Primeiro ciclo direção x1 Primeiro ciclo direção x2 3:50

Rosenbrock: Método um pouco mais eficiente Direção de busca é a que potencialmente dará maior incremento da FO 3:50

Limitação da busca direta: Ótimos locais Região que atrai solução para o ótimo local 3:50

Tentativa de contornar problema: Busca direta com inicialização múltipla Várias tentativas; espera se que o ótimo global seja a melhor solução testada. Problema: Ineficiente e ineficaz quando a FO tem muitos ótimos locais 3:50

Técnicas numéricas – Busca direta Busca direta (Rosenbrock e cia.) vantagens: funções descontínuas; otimização por simulação (funções que não podem ser expressas analiticamente - calibração de modelos) desvantagens: funções com picos múltiplos 3:50

Técnicas numéricas – Algoritmos genéticos Início Inicialização da população Cálculo da aptidão Solução encontrada? Fim Nova população Seleção Reprodução Mutação 3:50

Algumas regras gerais dos algoritmos genéticos Conceitos de população, reprodução e gerações Filhos são semelhantes aos pais Os pais mais “adaptados” tem maior probabilidade de gerar filhos Os filhos não são completamente iguais aos pais 3:50

Pais mais adaptados têm maior probabilidade de gerar filhos (sobrevivência do mais apto = seleção natural) Darwin 3:50

Algoritmos genéticos Na natureza: indivíduos mais adaptados têm maior probabilidade de sobreviver até chegar à fase reprodutiva e de participar do processo de reprodução. No algoritmo: pontos com maior FO têm maior probabilidade de serem escolhidos para participar dos complexos. 3:50

Algoritmo genético “puro” 1 - gera população (pontos aleatórios) 3:50

2 - escolhe pontos para participar do processo de “reprodução” (pontos com melhor FO tem maior probabilidade de escolha 3:50

2 - Exemplo de reprodução: escolhidos dois pontos Xa=8 Xb=19 binário Xa=01000 Xb=10011 3:50

Genética: filhos “recebem” cromossomos dos pais 01000 10011 É determinado um (ou mais) ponto de “corte” (aleatório) 01011 10000 Filho 1: parte dos “cromossomos” do pai e parte da mãe Filho 2: outra parte dos “cromossomos” do pai e parte da mãe Xa=01011 = 11 Filhos: Xb=10000 = 16 3:50

pais filhos 3:50

01000 10011 01011 10100 Mutação: evento de baixa probabilidade Genética: filhos “recebem” cromossomos dos pais 01000 10011 É determinado um (ou mais) ponto de “corte” (aleatório) 01011 10100 Filho 1: sem mutação Filho 2: mutação Xa=01011 = 11 Filhos: Xb=10100 = 20 3:50

Reprodução de todos os pontos escolhidos resulta na nova geração 3:50

Depois de algumas gerações 3:50

Algumas desvantagens do algoritmo genético puro Números binários Transformação de variáveis de base decimal para binária -0,05 +180,3 decimal Variável Y 0000000000 1111111111 Usando 10 bits; Resolução = 0,176 3:50

Algumas vantagens do algoritmo genético puro Otimização com números inteiros Diâmetros comerciais 3:50

Evolução de complexos misturados (Shuffled complex evolution) SCE - UA Usa técnicas de busca aleatória algoritmos genéticos simplex (Nelder e Mead) Proposto por Duan, Gupta e Sorooshian (U. Arizona) Descrito no livro Sistemas Inteligentes da ABRH 3:50

Passo 1 3:50

Passo 2 3:50

Passo 3 3:50

Passo 4 3:50

Passo 5 3:50

Passo 6 3:50

Passo 7 3:50

Passo 8 3:50

Passo 9 3:50

Passo 10 3:50

Passo 20 3:50

1 - Geração aleatória de pontos Complexos = “casais” Obs.: Casais podem ser de mais de dois pontos. 3:50

2 - Formar complexos Complexos = “casais” Obs.: Casais podem ser de mais de dois pontos. Exemplo: complexos de 4 pontos 3:50

3 - Formar sub-complexo (exemplo) Obs.: Nem todos os pontos de um complexo fazem parte do sub-complexo. Exemplo: subcomplexo de 3 pontos extraído de um complexo de 4 pontos. A probabilidade de um ponto do complexo participar do sub-complexo é proporcional à FO. 3:50

Define pior ponto do sub-complexo Exemplo: sub-complexo de 3 pontos 3:50

Define centróide dos melhores pontos 3:50

Passo de reflexão Verifica valor da FO no novo ponto, b Passo de reflexão: distância a = distância b Verifica valor da FO no novo ponto, se é melhor do que pior ponto, novo ponto é aceito, se não, vai para o passo de contração. 3:50

Passo de contração Verifica valor da FO no novo ponto, b Passo de contração: distância a = distância b Verifica valor da FO no novo ponto, se é melhor do que pior ponto, novo ponto é aceito, se não, cria ponto aleatório. 3:50

Ponto aleatório Um novo ponto é gerado no espaço definido pelos limites mínimo e máximo de cada um dos parâmetros no complexo. 3:50

Ponto aleatório Um novo ponto é gerado no espaço definido pelos limites mínimo e máximo de cada um dos parâmetros no complexo. 3:50

Nova geração Cada complexo gera um novo ponto (filhote), seja por um passo de reflexão, de contração ou aleatório. O novo ponto substitui o pior ponto do complexo. Ao final de uma rodada de evolução existe uma nova geração, com o mesmo tamanho de população (número de pontos). 3:50

Pais mais adaptados têm maior probabilidade de gerar filhos (sobrevivência do mais apto = seleção natural) 1) Classificar os pontos do complexo em ordem de FO (ranking) 2) Atribuir probabilidade de escolha para participar do sub-complexo segundo a função do desenho: Posição no ranking Probabilidade de escolha 1 Valor da FO 3:50

Exemplo Sub-Complexo Complexo Dois pontos do complexo ficaram fora do sub-complexo. Não necessariamente os piores pontos ficam fora. 3:50

Filhos são semelhantes aos pais Genética: filhos “recebem” cromossomos dos pais a b Algoritmo SCE-UA: No lugar dos “casais” estão os “complexos”, que são “casais” de n pontos 3:50

Aplicações Calibração do modelo IPH-2 Calibração multi-objetivo do modelo IPH-2 Calibração multi-objetivo do modelo de grandes bacias Ajuste de parâmetros de curva de infiltração de trincheira (Vladimir) 3:50

Calibração automática com SCE-UA Função objetivo: Coeficiente de Nash Sutcliffe 3:50

Cada ponto representa os valores dos parâmetros escolhidos. A FO é o coeficiente de Nash Sutcliffe. Para ser avaliada, deve ser realizada uma simulação completa (por exemplo, 10 anos de dados diários). 3:50

Teste 1: Calibração com série sintética de vazões Vazão observada é substituída pela vazão gerada pelo modelo Teoricamente o método de calibração deve encontrar os parâmetros utilizados na geração da série. Valores dos parâmetros utilizados no teste 3:50

Resultados teste 1 Em 10 aplicações sucessivas o algoritmo de calibração atingiu sempre o ótimo global (conjunto de parâmetros que gerou a série sintética), em menos do que 10.000 avaliações da função objetivo Valor do parâmetro ao longo do processo Literatura mostra testes semelhantes com métodos Rosenbrock e outros, que não conseguem superar este teste. I0 = 50 3:50

Teste 2: calibração dados observados Calibração do modelo IPH-2 (10 vezes) 3:50

SCE-UA aplicado ao IPH-2 Fortes evidências de que o algoritmo encontra o ótimo global. Melhor que Rosenbrock. Pior que calibração manual porque só leva em conta uma função objetivo. 3:50

Otimização multi-objetivo Considerar mais de uma FO. Calibração de modelos hidrológicos distribuídos Otimização de sistemas de reservatórios de usos múltiplos (controle de cheias x regularização de vazão) Vazão e evapotranspiração 3:50

Otimização multi-objetivo Função 1 Função 2 Em geral o ótimo de uma função não corresponde ao ótimo da outra. 3:50

Otimização multi-objetivo Um problema de otimização multi-objetivo tem um conjunto de soluções igualmente válidas. 3:50

Região de Pareto ou Curva de Pareto Conjunto de pontos em que a solução não pode ser considerada pior do que qualquer outra solução. 3:50

Exemplo IPH 2 Faixa válida dos parâmetros. 2 FO: Erro volume e RMSE 3:50

Geração 1 3:50

Geração 10 3:50

Geração 20 3:50

Geração 50 3:50

Geração 138 3:50

Avaliação da incerteza: usar todos os conjuntos e gerar vários hidrogramas 3:50

Propagação da incerteza: Q90 calculada, por exemplo, vai de 8,9 a 10,5 m3.s-1, sendo que a Q90 observada é de 9,1 m3.s-1 3:50

Problemas de recursos hídricos esperando por uma abordagem com algoritmos genéticos no CTEC Dimensionamento de sistema de reservatórios de abastecimento ou controle de cheias Dimensionamento de canais e redes de abastecimento Otimização de operação de reservatórios Substituir Rosenbrock Substituir programação linear Substituir programação dinâmica 3:50

Problemas de otimização com inteiros Problemas de recursos hídricos esperando por uma abordagem com algoritmos genéticos no CTEC Problemas de otimização com inteiros diâmetros comerciais de condutos parâmetros comerciais de bombas 3:50

Sugestões de leitura Yapo, P. O.; Gupta, H. V.; Sorooshian, S. 1998 Multi-objective global optimization for hydrologic models. Journal of Hydrology, Vol. 204 pp. 83-97. Sorooshian, S.; Gupta, V. K. 1995 Model calibration In: Singh, V. J. (editor) Computer models of watershed hydrology. Water Resources Publications, Highlands Ranch. 1130 p. Duan, Q.; Sorooshian, S.; Gupta, V. 1992 Effective and efficient global optimization for conceptual rainfall-runoff models. Water Resources Research Vol. 28 No. 4. pp. 1015-1031. Duan, Q.; Sorooshian, S.; Gupta, V. 1994 Optimal use of the SCE – UA global optimization method for calibrating watershed models. Journal of Hydrology, Vol 158 pp. 265-284. Bonabeau, E.; Dorigo, M.; Theraulaz, G. 2000 Inspiration for optimization from social insect behaviour. Nature Vol. 406 July pp.39-42. Goldberg, D. 1989 Genetic Algorithms in Search, Optimization and Machine Learning Addison-Wesley, 412 pp. 3:50

Sugestões de leitura Klemes, V. 1986 Operational testing of hydrological simulation models. Hydrological Sciences Journal V. 31 No. 1 pp. 13-24. Nash e Sutcliffe, 1970 (Journal of Hydrology) Particle Swarm Optimization 3:50