Métodos de Calibração de Modelos hidrológicos

Apresentação em tema: "Métodos de Calibração de Modelos hidrológicos"— Transcrição da apresentação:

1 Métodos de Calibração de Modelos hidrológicos
Carlos Ruberto Fragoso Júnior 1:05

2 Sumário Critérios de parada Conceito básicos Métodos de calibração
O que é calibração? Problemas comuns na calibração de modelos hidrológicos Ciclo da calibração Métodos de calibração Função objetivo Técnicas numéricas Busca aleatória Técnicas iterativas; Busca direta; Técnicas de otimização global; Algoritmos genéticos Critérios de parada 3:50

3 O que é calibração Procura de valores dos parâmetros de um modelo matemático que resultem em uma boa concordância entre dados observados e calculados; O erro é minimizado!! 3:50

4 Calibração - Otimização
Encontrar o mínimo ou o máximo de uma função 3:50

5 Problemas comuns em modelos hidrológicos
Encontrar um conjunto ótimo de parâmetros que ajusta um evento de cheia ou uma série de vazões; Encontrar o coeficiente do reservatório linear simples que ajusta adequadamente uma recessão de vazão. 3:50

6 Problema: Encontrar o coeficiente do reservatório linear simples que ajusta adequadamente uma recessão de vazão. Q = V / k Q(t+dt) = Q(t) . exp(-dt/k) 3:50

7 3:50

8 3:50

9 Q(t+dt) = Q(t) . exp(-dt/k) Primeiro teste: k = 20
3:50

10 Problemas na calibração de modelos hidrológicos
Modelos hidrológicos geralmente tem muitos parâmetros Não lineares Técnicas de otimização automáticas Usar Funções Objetivo 3:50

11 Ciclo da calibração Rodar o modelo Ajustar os Verificar o erro
Critérios para um “bom ajuste” (Função objetivo) Critérios para mudança dos parâmetros Rodar o modelo Ajustar os parâmetros Verificar o erro Critérios de parada 3:50

12 Métodos de calibração Métodos de calibração Tentativa e erro (Manual)
Técnicas numéricas Ajusta os parâmetros manualmente baseado nos resultados Usa algoritmos numéricos para encontrar um conjunto de parâmetros ótimo Aleatório Assume faixa de probabilidade para cada parâmetro 3:50

13 Funções Objetivo (FO) Medida do erro – objetivo é minimizar a FO
Diferentes funções objetivo Somatório dos erros: compensação de erros Somatório do módulo dos erros Somatório dos erros ao quadrado Somatório de erros relativos Somatório dos desvios dos inversos da vazão Erro de volume (bias) Coeficiente de eficiência de Nash-Sutcliffe 3:50

14 Funções objetivo Raiz do Erro Médio Quadrado (RSME) 3:50

15 Funções objetivo Raiz do Erro Médio Quadrado Normalizado (NRSME) 3:50

16 Funções objetivo Coeficiente de correlação de Pearson 3:50

17 Funções objetivo Coeficiente de eficiência de Nash-Sutcliffe 3:50

18 Funções Objetivo Função quadrática Função módulo Função para mínimos
Função relativa 3:50

19 Exemplo 3:50

20 Técnicas de otimização
Cálculo analítico Técnicas numéricas Busca aleatória Busca direta Algoritmos genéticos 3:50

21 Cálculo analítico Encontrar pontos da função em que a derivada é zero.
vantagens (pode ser rápido, é mais elegante) desvantagens (funções de picos múltiplos, funções descontínuas, ausência da forma analítica da função - por exemplo no problema de calibração de um modelo chuva-vazão) 3:50

22 Cálculo analítico - Conceitos
Haverá sempre um ponto de máximo ou mínimo, seja no interior da região delimitada pelas restrições ou nos limites, desde que a função objetivo seja contínua. A condição necessária para que exista um ponto de máximo ou mínimo é a seguinte: pontos estacionários A condição suficiente para que um ponto estacionário seja um mínimo é a seguinte onde Ri são os menores principais da matriz Hessiana H. 3:50

23 3:50

24 Exemplo Determine o mínimo da função x1= 8 x2 = 2 y = -56 H =
Matriz positiva definida 3:50

25 Técnicas numéricas - Busca Aleatória
Vantagens: funções descontínuas; picos múltiplos Desvantagens: demorado; não existe garantia de atingir o ponto ótimo global “Ótimo” 3:50

26 Características das Técnicas Numéricas
Definição do ponto de partida: o critério para inicializar o processo de tentativa em geral depende mais do problema em questão do que do método. Direção de pesquisa: a direção de pesquisa identifica o vetor no qual serão realizadas as alterações das variáveis. Espaçamento de cada tentativa: identifica a variação que ocorrerá na direção de pesquisa a cada tentativa. Critérios de parada: envolve a definição dos critérios para aceitar uma determinada solução como o ótimo de uma função. 3:50

27 Técnicas numéricas - Busca direta
Estratégia de caminhar “morro acima” 3:50

28 Função objetivo: F(x1,x2)
Máximo local Máximo global x1 3:50

29 Início: ponto coordenadas (parâmetros) aleatórias
X2=valor aleatório entre c e d X1=valor aleatório entre a e b 3:50

30 Determina direção de busca: exemplo x2=x2+0,3; x1=x1
Função objetivo melhorou? Não, então tenta no outro sentido. 3:50

31 F.O melhorou? Sim, então continua no mesmo sentido
3:50

32 F.O melhorou? Sim, então continua no mesmo sentido
3:50

33 F.O melhorou? Sim, então continua no mesmo sentido
3:50

34 F.O melhorou? Não, então volta para o ponto anterior...
3:50

35 ...e muda a direção de busca.
F.O melhorou? Sim, então continua no mesmo sentido 3:50

36 E assim segue até encontrar um ponto em que não existe
direção de busca que melhore o valor da FO 3:50

37 Método unidirecional 1. Direção de pesquisa paralela aos eixos;
2. Pesquisa em cada direção: espaçamento constante ou variável 3. Critério de parada desvantagens: (ao lado) 3:50

38 Método da rotação das coordenadas (Rosenbrook)
Primeiro ciclo igual ao univariacional segundo ciclo com rotação duas alternativas para pesquisa em cada direção: método original que alterna a pesquisa de cada direção em cada tentativa; 3:50

39 Primeiro ciclo direção x1 Primeiro ciclo direção x2
3:50

40 Rosenbrock: Método um pouco mais eficiente
Direção de busca é a que potencialmente dará maior incremento da FO 3:50

41 Limitação da busca direta: Ótimos locais
Região que atrai solução para o ótimo local 3:50

42 Tentativa de contornar problema: Busca direta com inicialização múltipla
Várias tentativas; espera se que o ótimo global seja a melhor solução testada. Problema: Ineficiente e ineficaz quando a FO tem muitos ótimos locais 3:50

43 Técnicas numéricas – Busca direta
Busca direta (Rosenbrock e cia.) vantagens: funções descontínuas; otimização por simulação (funções que não podem ser expressas analiticamente - calibração de modelos) desvantagens: funções com picos múltiplos 3:50

44 Técnicas numéricas – Algoritmos genéticos
Início Inicialização da população Cálculo da aptidão Solução encontrada? Fim Nova população Seleção Reprodução Mutação 3:50

45 Algumas regras gerais dos algoritmos genéticos
Conceitos de população, reprodução e gerações Filhos são semelhantes aos pais Os pais mais “adaptados” tem maior probabilidade de gerar filhos Os filhos não são completamente iguais aos pais 3:50

46 Pais mais adaptados têm maior probabilidade de gerar filhos (sobrevivência do mais apto = seleção natural) Darwin 3:50

47 Algoritmos genéticos Na natureza: indivíduos mais adaptados têm maior probabilidade de sobreviver até chegar à fase reprodutiva e de participar do processo de reprodução. No algoritmo: pontos com maior FO têm maior probabilidade de serem escolhidos para participar dos complexos. 3:50

48 Algoritmo genético “puro”
1 - gera população (pontos aleatórios) 3:50

49 2 - escolhe pontos para participar do processo de “reprodução”
(pontos com melhor FO tem maior probabilidade de escolha 3:50

50 2 - Exemplo de reprodução: escolhidos dois pontos
Xa=8 Xb=19 binário Xa=01000 Xb=10011 3:50

51 Genética: filhos “recebem” cromossomos dos pais
01000 10011 É determinado um (ou mais) ponto de “corte” (aleatório) 01011 10000 Filho 1: parte dos “cromossomos” do pai e parte da mãe Filho 2: outra parte dos “cromossomos” do pai e parte da mãe Xa= = 11 Filhos: Xb= = 16 3:50

52 pais filhos 3:50

53 01000 10011 01011 10100 Mutação: evento de baixa probabilidade
Genética: filhos “recebem” cromossomos dos pais 01000 10011 É determinado um (ou mais) ponto de “corte” (aleatório) 01011 10100 Filho 1: sem mutação Filho 2: mutação Xa= = 11 Filhos: Xb= = 20 3:50

54 Reprodução de todos os pontos escolhidos resulta na nova geração
3:50

55 Depois de algumas gerações
3:50

56 Algumas desvantagens do algoritmo genético puro
Números binários Transformação de variáveis de base decimal para binária -0,05 +180,3 decimal Variável Y Usando 10 bits; Resolução = 0,176 3:50

57 Algumas vantagens do algoritmo genético puro
Otimização com números inteiros Diâmetros comerciais 3:50

58 Evolução de complexos misturados (Shuffled complex evolution)
SCE - UA Usa técnicas de busca aleatória algoritmos genéticos simplex (Nelder e Mead) Proposto por Duan, Gupta e Sorooshian (U. Arizona) Descrito no livro Sistemas Inteligentes da ABRH 3:50

59 Passo 1 3:50

60 Passo 2 3:50

61 Passo 3 3:50

62 Passo 4 3:50

63 Passo 5 3:50

64 Passo 6 3:50

65 Passo 7 3:50

66 Passo 8 3:50

67 Passo 9 3:50

68 Passo 10 3:50

69 Passo 20 3:50

70 1 - Geração aleatória de pontos
Complexos = “casais” Obs.: Casais podem ser de mais de dois pontos. 3:50

71 2 - Formar complexos Complexos = “casais” Obs.: Casais podem
ser de mais de dois pontos. Exemplo: complexos de 4 pontos 3:50

72 3 - Formar sub-complexo (exemplo)
Obs.: Nem todos os pontos de um complexo fazem parte do sub-complexo. Exemplo: subcomplexo de 3 pontos extraído de um complexo de 4 pontos. A probabilidade de um ponto do complexo participar do sub-complexo é proporcional à FO. 3:50

73 Define pior ponto do sub-complexo
Exemplo: sub-complexo de 3 pontos 3:50

74 Define centróide dos melhores pontos
3:50

75 Passo de reflexão Verifica valor da FO no novo ponto,
b Passo de reflexão: distância a = distância b Verifica valor da FO no novo ponto, se é melhor do que pior ponto, novo ponto é aceito, se não, vai para o passo de contração. 3:50

76 Passo de contração Verifica valor da FO no novo ponto,
b Passo de contração: distância a = distância b Verifica valor da FO no novo ponto, se é melhor do que pior ponto, novo ponto é aceito, se não, cria ponto aleatório. 3:50

77 Ponto aleatório Um novo ponto é gerado no espaço definido pelos limites mínimo e máximo de cada um dos parâmetros no complexo. 3:50

78 Ponto aleatório Um novo ponto é gerado no espaço definido pelos limites mínimo e máximo de cada um dos parâmetros no complexo. 3:50

79 Nova geração Cada complexo gera um novo ponto (filhote), seja por um passo de reflexão, de contração ou aleatório. O novo ponto substitui o pior ponto do complexo. Ao final de uma rodada de evolução existe uma nova geração, com o mesmo tamanho de população (número de pontos). 3:50

80 Pais mais adaptados têm maior probabilidade de gerar filhos (sobrevivência do mais apto = seleção natural) 1) Classificar os pontos do complexo em ordem de FO (ranking) 2) Atribuir probabilidade de escolha para participar do sub-complexo segundo a função do desenho: Posição no ranking Probabilidade de escolha 1 Valor da FO 3:50

81 Exemplo Sub-Complexo Complexo
Dois pontos do complexo ficaram fora do sub-complexo. Não necessariamente os piores pontos ficam fora. 3:50

82 Filhos são semelhantes aos pais
Genética: filhos “recebem” cromossomos dos pais a b Algoritmo SCE-UA: No lugar dos “casais” estão os “complexos”, que são “casais” de n pontos 3:50

83 Aplicações Calibração do modelo IPH-2
Calibração multi-objetivo do modelo IPH-2 Calibração multi-objetivo do modelo de grandes bacias Ajuste de parâmetros de curva de infiltração de trincheira (Vladimir) 3:50

84 Calibração automática com SCE-UA
Função objetivo: Coeficiente de Nash Sutcliffe 3:50

85 Cada ponto representa os valores dos parâmetros escolhidos.
A FO é o coeficiente de Nash Sutcliffe. Para ser avaliada, deve ser realizada uma simulação completa (por exemplo, 10 anos de dados diários). 3:50

86 Teste 1: Calibração com série sintética de vazões
Vazão observada é substituída pela vazão gerada pelo modelo Teoricamente o método de calibração deve encontrar os parâmetros utilizados na geração da série. Valores dos parâmetros utilizados no teste 3:50

87 Resultados teste 1 Em 10 aplicações sucessivas o algoritmo de calibração atingiu sempre o ótimo global (conjunto de parâmetros que gerou a série sintética), em menos do que avaliações da função objetivo Valor do parâmetro ao longo do processo Literatura mostra testes semelhantes com métodos Rosenbrock e outros, que não conseguem superar este teste. I0 = 50 3:50

88 Teste 2: calibração dados observados
Calibração do modelo IPH-2 (10 vezes) 3:50

89 SCE-UA aplicado ao IPH-2
Fortes evidências de que o algoritmo encontra o ótimo global. Melhor que Rosenbrock. Pior que calibração manual porque só leva em conta uma função objetivo. 3:50

90 Otimização multi-objetivo
Considerar mais de uma FO. Calibração de modelos hidrológicos distribuídos Otimização de sistemas de reservatórios de usos múltiplos (controle de cheias x regularização de vazão) Vazão e evapotranspiração 3:50

91 Otimização multi-objetivo
Função 1 Função 2 Em geral o ótimo de uma função não corresponde ao ótimo da outra. 3:50

92 Otimização multi-objetivo
Um problema de otimização multi-objetivo tem um conjunto de soluções igualmente válidas. 3:50

93 Região de Pareto ou Curva de Pareto
Conjunto de pontos em que a solução não pode ser considerada pior do que qualquer outra solução. 3:50

94 Exemplo IPH 2 Faixa válida dos parâmetros. 2 FO: Erro volume e RMSE
3:50

95 Geração 1 3:50

96 Geração 10 3:50

97 Geração 20 3:50

98 Geração 50 3:50

99 Geração 138 3:50

100 Avaliação da incerteza: usar todos os conjuntos e gerar vários hidrogramas
3:50

101 Propagação da incerteza: Q90 calculada, por exemplo, vai de 8,9 a 10,5 m3.s-1, sendo que a Q90 observada é de 9,1 m3.s-1 3:50

102 Problemas de recursos hídricos esperando por uma abordagem com algoritmos genéticos no CTEC
Dimensionamento de sistema de reservatórios de abastecimento ou controle de cheias Dimensionamento de canais e redes de abastecimento Otimização de operação de reservatórios Substituir Rosenbrock Substituir programação linear Substituir programação dinâmica 3:50

103 Problemas de otimização com inteiros
Problemas de recursos hídricos esperando por uma abordagem com algoritmos genéticos no CTEC Problemas de otimização com inteiros diâmetros comerciais de condutos parâmetros comerciais de bombas 3:50

104 Sugestões de leitura Yapo, P. O.; Gupta, H. V.; Sorooshian, S Multi-objective global optimization for hydrologic models. Journal of Hydrology, Vol. 204 pp Sorooshian, S.; Gupta, V. K Model calibration In: Singh, V. J. (editor) Computer models of watershed hydrology. Water Resources Publications, Highlands Ranch p. Duan, Q.; Sorooshian, S.; Gupta, V Effective and efficient global optimization for conceptual rainfall-runoff models. Water Resources Research Vol. 28 No. 4. pp Duan, Q.; Sorooshian, S.; Gupta, V Optimal use of the SCE – UA global optimization method for calibrating watershed models. Journal of Hydrology, Vol 158 pp Bonabeau, E.; Dorigo, M.; Theraulaz, G Inspiration for optimization from social insect behaviour. Nature Vol. 406 July pp Goldberg, D Genetic Algorithms in Search, Optimization and Machine Learning Addison-Wesley, 412 pp. 3:50

105 Sugestões de leitura Klemes, V Operational testing of hydrological simulation models. Hydrological Sciences Journal V. 31 No. 1 pp Nash e Sutcliffe, 1970 (Journal of Hydrology) Particle Swarm Optimization 3:50