Programação Dinâmica Estocástica

Apresentação em tema: "Programação Dinâmica Estocástica"— Transcrição da apresentação:

1 Programação Dinâmica Estocástica

2 Programação Dinâmica Estocástica
Solução Backward: Suponha 3 Estágios 1 2 3 Estágios: m=1,2,3 Estado: xm Decisão: Dm Variável Aleatória: km Custo Elementar:

3 Programação Dinâmica Estocástica
A qualidade de uma política é medida pelo seu Custo Total

4 Programação Dinâmica Estocástica
Dado que o custo é aleatório há necessidade de trabalhar com médias. A qualidade de uma política é avaliada pela Esperança Matemática do seu custo.

5 Programação Dinâmica Estocástica
Equação Recursiva Por analogía:

6 Programação Dinâmica Estocástica
Continuando:

7 Programação Dinâmica Estocástica
Passando à Otimização, define-se: Por analogia: É claro que:

8 Programação Dinâmica Estocástica
Segue-se: De forma idêntica, não há dificuldade para estabelecer que:

9 1 2 3 4 Programação Dinâmica Estocástica
Exercício: Considere o seguinte sistema hidrotérmico Existe uma afluência aleatória de energia ao reservatório yn com a seguinte distribuição de probabilidade: 0,25 4 0,5 3 2 1 n Y

10 F5(x5) 5 3 2 1 x5 Programação Dinâmica Estocástica
Se o sistema não atender a demanda, incorrerá num custo de deficit: Existe um custo associado à energia armazenada no reservatório no final do horizonte x5 dada por: 4 8 16 28 44 64 F5(x5) 5 3 2 1 x5 Fazer o planejamento otimizado da operação, considerando x0=3 U.E.

11 Programação Dinâmica Estocástica

12 Programação Dinâmica Estocástica
A geração térmica e déficit podem ser representados por uma única variável ‘g’. 3 g g2 g1 9 C(g) g 1 2 3 4 5 6 C(g) 9 20 33 48

13 Programação Dinâmica Estocástica
A formulação fica:

14 Programação Dinâmica Estocástica
Como a variável yn é aleatória, busca-se minimizar o custo esperado:

15 Programação Dinâmica Estocástica
X4 F4 (X4) U4* 1 2 3 4 5 X5 F5(X5) 64 1 44 2 28 3 16 4 8 5

16 Programação Dinâmica Estocástica
X3 F3 (X3) U3* 1 2 3 4 5 X4 F4(X4) 1 2 3 4 5

17 Programação Dinâmica Estocástica
X2 F2 (X2) U2* 1 2 3 4 5 X3 F3(X3) 1 2 3 4 5

18 Programação Dinâmica Estocástica
X1 F1 (X1) U1* 1 2 3 4 5 X2 F2(X2) 1 2 3 4 5

19 Programação Dinâmica Estocástica
X0 F0 (X0) U0* 1 2 3 4 5 X1 F1(X1) 1 2 3 4 5

20 Programação Dinâmica Estocástica
Simulação para: A política ótima é: 1 3 2 x 5 4 n 1 4 2 3 n 5 u,g,y,v

21 Programação Dinâmica Estocástica Markoviana

22 Programação Dinâmica Estocástica Markoviana
A aleatoriedade depende também do passado recente A caracterização do estado vai exigir informação sobre este passado 1 2 3 Estágios: m=1,2,3 Estado: xm , km Decisão: Dm Variável Aleatória: km Custo Elementar:

23 Programação Dinâmica Estocástica Markoviana
A qualidade de uma política é uma variável alea- tória avaliada pela expectativa de custo total

24 Programação Dinâmica Estocástica Markoviana
Equação Recursiva (Backward) : Por analogia

25 Programação Dinâmica Estocástica Markoviana
Fase de Otimização É claro que:

26 Programação Dinâmica Estocástica Markoviana
De maneira geral temos que: Observação: Uma sofisticação é termos:

27 Maldição da Dimensionalidade
Comecemos promovendo uma comparação entre esforços computacionais requeridos em Programação Dinâmica e na Enumeração Completa. Para fixarmos idéia, vamos supor o problema:

28 Maldição da Dimensionalidade
Resolver Backward N – n° de estágios Ne - n° de estados em cada estágio Nc - n° de controles em cada estado Equação Recursiva (a) mostra que para o estado fixado, temos necessidade de uma adição por controle

29 Maldição da Dimensionalidade
Por estado Nc adições Por estágio Nc*Ne adições No total N*Nc*Ne adições Em cada estado realizamos (Nc-1) comparações No total N*Ne*(Nc-1) comparações Enumeração Completa Ne estados Nc controles estágio 1 2 N-1 N

30 Maldição da Dimensionalidade
A partir de cada x0 teremos: Nc*Nc* *Nc*Nc trajetorias Como temos Ne valores diferentes para x0, resultam: Ne*NcN trajetórias distintas O custo de cada trajetória é calculado fazendo a soma de N+1 fatores J0+ J JN-1+T N*Ne*NcN adições Para obter a solução ótima, devemos comparar os custos das trajetórias duas a duas: (Ne*NcN-1) comparações

31 Maldição da Dimensionalidade
(Programação Dinâmica) x (Enumeração completa) Vamos supor N=12 Nc=10 Ne=100 Tsoma=Tcomparação=10-9s 15 dias 10*e14 12*e14 E.C. 23 us 10800 12000 P.D. Tempo Comparações Adições

32 Maldição da Dimensionalidade
Para N=12 façamos um estudo para um número crescente de variáveis de estado e de variáveis de controle. Número de variáveis de estado Número de variáveis de controle Ne Nc Adições Comparações Tempo 1 100 25 30000 28800 34 us 2 104 625 75 106 150 ms 3 106 15.625 6 min 4 108 4,7 1014 260 H Esta é a Maldição da Dimensionalidade

33 Maldição da Dimensionalidade
Exercício: Considere o mesmo problema hidrotérmico do exercício anterior e resolva para uma afluência Yn aleatória com distribuição de probabilidade markoviana, conforme a seguinte tabela. Yn-1\Yn 1 2 3 0,50 0,25 Considere Yn-1=1 Fazer o planejamento otimizado de operação. Com as tabelas de decisões efetuar simulações com hidrologia baixa, média e alta. Considere x0=3