Fernando NogueiraCadeias de Markov1 Andrei Andreyevich Markov (*1856, Ryazan, Russia;  1922, São Petersburgo, Russia).

Apresentação em tema: "Fernando NogueiraCadeias de Markov1 Andrei Andreyevich Markov (*1856, Ryazan, Russia;  1922, São Petersburgo, Russia)."— Transcrição da apresentação:

1 Fernando NogueiraCadeias de Markov1 Andrei Andreyevich Markov (*1856, Ryazan, Russia;  1922, São Petersburgo, Russia).

2 Fernando NogueiraCadeias de Markov2 Introdução Processos Estocásticos  Processos que evoluem no tempo de maneira probabilística. Processos Estocásticos (formal)  coleção de variáveis randômicas (X(t)) indexadas por um parâmetro t, com. X(t) representa o estado do sistema no parâmetro (tempo) t. Portanto, X(t) é definido em um espaço denominado Espaço de Estados. Classificação em relação ao Estado Estado Discreto (cadeia): X(t) é definido sobre um conjunto enumerável ou finito Estado Contínuo (seqüência): X(t) caso contrário Classificação em relação ao Tempo (Parâmetro) Tempo Discreto: t é finito ou enumerável Tempo Contínuo: t caso contrário Exemplos 1) Número de usuários em uma fila em um determinado instante: Estado Discreto e Tempo Contínuo. 2) Índice pluviométrico diário: Estado Contínuo e Tempo Discreto. 3) Número de dias chuvosos: Estado Discreto e Tempo Discreto.

3 Fernando NogueiraCadeias de Markov3 Processos Markovianos Um Processo Estocástico é dito ser um Processo Markoviano se: Um Processo Markoviano é uma Cadeia de Markov em Tempo Discreto se: Probabilidade de Transição Probabilidade de Transição é dita Estacionária se:  Probabilidade de transição de passo 1 Probabilidade de Transição de passo 1 implica que:  Probabilidade de transição de passo n Notação simplificada  Matriz de Transição de Passo n 

4 Fernando NogueiraCadeias de Markov4 Exemplo 1 O estado no ano de 1993 do uso da terra em uma cidade de 50 Km 2 de área é: Vetor de Estados Vetor de Probabilidade de Estado Matriz de Transição O estado no ano de 1998 do uso da terra é

5 Fernando NogueiraCadeias de Markov5 Equações de Chapman - Kolmogorov  Permite computar a matriz de transição para n passos (de t para t + n). para todo i, j = 0, 1,..., M qualquer m = 1, 2,..., n-1 qualquer n = m+1, m+2,.... notação matricial Classificação de Estados em Cadeias de Markov Estado Alcançável  j é alcançável a partir de i se para algum Estado Comunicante  j é comunicante com i se j é alcançável a partir de i e vice-versa Estado 0 1 2 3 1 é comunicante com 2 2 não é alcançável a partir de 3 Se todos estados são comunicantes  Cadeia Irredutível Estado Transiente  i é transiente se e somente se existe um estado j que é alcançável a partir do estado i mas não vice-versa. Estado Recorrente  i é recorrente se não é transiente. Estado Absorvente  i é recorrente se p ii = 1.

6 Fernando NogueiraCadeias de Markov6 Um conjunto C de estados é dito ser um Conjunto Fechado se o processo ao entrar em um destes estados de C, este irá permanecer nos estados de C indefinidamente. Um conjunto C m de estados é dito ser um Conjunto Fechado Mínimo se este conjunto não possui sub-conjuntos fechados. Estado 0 1 2 3 4 0 e 1 são recorrentes 2 é absorvente 3 e 4 são transientes 0, 1 e 2 formam um Conj. Fechado 0 e 1 formam um Conj. Fechado Mínimo 2 Conj. Fechado Mínimo Estado Periódico  i é periódico com período t se um retorno a este estado é possível somente em t, 2t, 3t,... passos para t>1. sempre quando n não é divisível por t. Estado Aperiódico  se t = 1. Estado 0 1 2 3 1e 2 são periódicos com t = 2 todos estados são periódicos com t = 2 Em uma Cadeia de Markov de estado finito, estados recorrentes aperiódicos são chamados de estados Ergódicos. Uma Cadeia de Markov é Ergódica se todos os estados são ergódicos.

7 Fernando NogueiraCadeias de Markov7 Probabilidades de Estados Estavéis (Steady-State)  Se a Cadeia de Markov é Ergódica e Irredutível, a distribuição de probabilidade dos estados a longo período independe da distribuição de probabilidade inicial dos estados. Equações de Estados Estavéis para j = 0, 1, 2,..., M M+2 equações em M+1 incógnitas

8 Fernando NogueiraCadeias de Markov8 Custo Médio Esperado por Unidade de Tempo  Se a Cadeia de Markov é Irredutível, o limite sempre irá existir. Seja C(X t ) uma função de custo (C(  ) é uma variável randômica independente de t). O custo médio esperado por unidade de tempo é: Exemplo custo médio esperado do estoque por semana  Fração do tempo em que o processo está no estado j Tempos de Primeira Passagem  tempo demandado para o processo atingir o estado j a partir do estado i. Quando j = i  Tempo de Recorrência para o estado i. Denominando a probabilidade do Tempo de Primeira Passagem a partir do estado i para o estado j ser n, pode-se escrever que: Exemplo: Probabilidade do Tempo de Primeira Passagem a partir do estado 3 (estoque cheio) para o estado 0 (estoque vazio) ser n:

9 Fernando NogueiraCadeias de Markov9 processo inicialmente no estado i, pode nunca alcançar o estado j é a distribuição de probabilidade para a variável aleatória Tempo de Primeira Passagem Tempo de Primeira Passagem Esperado Sempre quando unicamente satisfaz Exemplo: Tempo de Primeira Passagem Esperado a partir do estado 3 (estoque cheio) para o estado 0 (estoque vazio): Tempo de Recorrência Esperado

10 Fernando NogueiraCadeias de Markov10 Classificação de Estados segundo a probabilidade do Tempo de Primeira Passagem Um estado recorrente é Nulo se Um estado recorrente é Não-Nulo ou Positivo se Um estado é Ergódico se é não-nulo e aperiódico Estados Absorventes f ik probabilidade de absorção para o estado k dado que o sistema iniciou no estado i. Seja k um estado absorvente, então o conjunto de probabilidades de absorção f ik satisfaz o seguinte sistema de equações: sujeito a: se i é recorrente e Exemplo: f 20 e f 24 ?