PESQUISA OPERACIONAL II Professor: D. Sc. Edwin B. Mitacc Meza

Processos Estocásticos

Pesquisa Operacional II 3 Introdução  Qualquer sistema real opera sempre em ambientes onde a incerteza impera, principalmente quando o sistema envolve, pela sua natureza, ações humanas imprevisíveis ou avarias de máquina.  Os modelos determinísticos certamente contribuem para a compreensão, a um nível básico, do comportamento dinâmico de um sistema.  No entanto, por não poderem lidar com a incerteza, acabam por ser insuficientes nos processos de tomada de decisão.  Assim, recorre-se a Processos Estocásticos como uma forma de tratar quantitativamente estes fenômenos, aproveitando certas características de regularidade que eles apresentam para serem descritos por modelos probabilísticos.

Pesquisa Operacional II 4 O problema das Probabilidades  Uma variável aleatória é uma função cujo domínio é o conjunto S de todos os resultados possíveis, e cuja imagem ou contradomínio é o subconjunto [0,1] dos reais.  O objetivo das probabilidades é calcular P(A), a probabilidade de ocorrência de um evento A, que é um subconjunto do espaço amostral S.

Pesquisa Operacional II 5 Representação Gráfica 0 1 S f Função de probabilidades Espaço amostral X(s)

Pesquisa Operacional II 6...  A representação gráfica anterior mostra que as variáveis aleatórias modelam um sistema particular em um instante de tempo determinado. Isto significa que as variáveis aleatórias não permitem avaliar o comportamento aleatório de um sistema em função do tempo.

Pesquisa Operacional II 7 Definição de Processo Estocástico  Um Processo Estocástico (em inglês, “Stochastic Process” ou “Random Process” é um conjunto de variáveis aleatórias X i, onde i pertence a um espaço amostral S, indexadas a uma variável t que toma valores de um conjunto T. Esta variável é geralmente a variável tempo.  Estabelecendo o paralelismo com o caso determinístico, onde uma função f(t) toma valores bem definidos ao longo do tempo, um processo estocástico toma valores aleatórios ao longo do tempo. Um processo estocástico é uma função que varia aleatoriamente.

Pesquisa Operacional II 8 Definição de Processo Estocástico  Aos valores que X i (t) ou X(t) podem assumir chamam-se estados e ao seu conjunto X espaço de estados.  Como exemplo de processos estocásticos, poderemos considerar: a) X(t) representa o estado de uma máquina (ligada ou desligada) no momento t. b) X(t) representa o numero de clientes numa loja no instante t. c) X(t) representa o número de máquinas avariadas no fim do dia t. d) X(t) representa a cotação de uma ação no fim do dia t. e) X(t) representa o nível de estoque de um determinado produto no fim do dia t. f) X(t) representa a condição de funcionamento de um componente no instante t.

Pesquisa Operacional II 9 Definição de Processo Estocástico  Nos exemplos apresentados, há casos em que o tempo é considerado de forma discreta (... no fim do dia t) e outros em que é tomado de modo contínuo (... no momento t).  A variável tempo é, por definição, uma variável contínua, a qual pode ser “discretizada” se os fenômenos forem observados a intervalos regulares.  Outra constatação que se pode fazer é que os “estados” podem ser valores que a variável X(t) pode assumir (número de clientes, número de máquinas, etc) como também podem ser estados (máquina avariada, a funcionar, etc).

Pesquisa Operacional II 10 Representação Gráfica do comportamento estocástico de um sistema em função do tempo (Proc. Estocástico) tempo Espaço amostral 1 P(x) 1 Espaço Amostral 2 1 Espaço Amostral n P(x) 1 X n (t) para cada instante em que se analisa o experimento, se pode distinguir um espaço amostral associado a uma distribuição de probabilidade (variável aleatória). As probabilidades associadas a cada experimento podem ter varias distribuições ao longo do tempo. O espaço amostral associado a cada observação pode variar.

Pesquisa Operacional II 11 Representação Gráfica S s1s1 s2s2 s3s3

Pesquisa Operacional II 12 Representação Gráfica Da representação gráfica anterior pode-se observar que:  Um processo estocástico é uma família de variáveis aleatórias, ou seja, para cada instante diferente se deve especificar:  Os possíveis estados do processo (espaço de estado para esse instante).  A distribuição de probabilidades que tem associado esse espaço amostral naquele instante.  Note-se que:  O espaço amostral associado ao sistema pode variar (ou não) de instante a instante.  As probabilidades associadas a cada resultado pode variar ao longo do tempo.

Pesquisa Operacional II 13 Processo Estocástico  A partir da representação gráfica anterior, se obtem, de maneira mais formal: Definição: Um Processo Estocástico é uma família de variáveis aleatórias X i, com i  S, parametrizadas por outra variável t que toma valores de um conjunto T. Esta variável é o tempo.

Pesquisa Operacional II 14 Processo Estocástico  Um processo estocástico depende de 3 características: O espaço de estado, S. O parâmetro temporal, T. A relação de dependência entre as variáveis aleatórias que o conformam, X i (t) (a dinâmica do sistema). tempo P t0 (x) 1 P t1 (x) 1 P tn (x) 1

Pesquisa Operacional II 15 Tipos de Processos Estocásticos  De acordo ao tipo de espaço de estados os processos estocásticos se podem classificar em: Processos Estocásticos de espaço discreto, se X for um conjunto de estados finito ou contável (X={0, 1, 2,...}), como é usualmente referido uma “cadeia”. Processos Estocásticos de espaço contínuo, para qualquer outro caso. Procesos Estocásticos S Processos Estocásticos de espaço discreto Processos Estocásticos de espaço contínuo

Pesquisa Operacional II 16 Tipos de Processos Estocásticos  Também se pode utilizar o parâmetro temporal para classificá-los: Processos Estocásticos de parâmetro discreto, se o conjunto T, que especifica os valores da variável t, for finito ou contável. A notação usada é {X(t), t=0,1,2,..}. Neste caso, T é normalmente o conjunto dos inteiros não-negativos. Processos Estocásticos de parâmetro contínuo, quando estão definidos para qualquer instante sendo usada a notação {X(t), t  0} Processos Estocásticos Processos Estocásticos de parâmetro contínuo Processos Estocásticos de parâmetro discreto t

Pesquisa Operacional II 17 Tipos de Processos Estocásticos Considerando que tanto o tipo de espaço de estados como o tipo de parâmetro temporal, existem 4 tipos de processos estocásticos:  Processo de espaço discreto e parâmetro discreto.  Processo de espaço discreto e parâmetro contínuo.  Processo de espaço contínuo e parâmetro discreto.  Processo de espaço contínuo e parâmetro contínuo.

Pesquisa Operacional II 18 Tipos de Processos Estocásticos Processos Estocásticos Processos Estocásticos de parâmetro contínuo e espaço discreto Processos Estocásticos de parâmetro discreto e espaço contínuo t S Processos Estocásticos de parâmetro contínuo e espaço contínuo Processos Estocásticos de parâmetro discreto e espaço discreto

Pesquisa Operacional II 19 Tipos de Processos Estocásticos Espaço Discreto e Parâmetro Discreto Descrição Geral Exemplo de um Sistema Modelagem do Sistema Representação Gráfica

Pesquisa Operacional II 20 Espaço Discreto e Parâmetro Discreto Neste tipo de processos o parâmetro toma valores inteiros, pelo que se associa geralmente aos naturais. No caso do espaço discreto, os resultados são distinguíveis dentro do espaço. A solução deste tipo de processos consiste em avaliar a probabilidade de que o sistema se encontre em um determinado estado justo depois de n unidades de tempo. Descrição Geral 1-

Pesquisa Operacional II 21 Espaço Discreto e Parâmetro Discreto Um jogador vá ao cassino a jogar Black Jack. Seu capital inicial é de $ em fichas. Em cada aposta pode ganhar ou perder $1.000 O máximo de dinheiro que pode acumular o jogador antes de que o cassino quebre é “ C ”. Se deseja conhecer o capital acumulado pelo jogador depois de n apostas, n >= 1. Exemplo O sistema que se descreve a continuação pode ser modelado como um processo estocástico de espaço discreto e parâmetro discreto.

Pesquisa Operacional II 22 Espaço Discreto e Parâmetro Discreto Seja n o número de aposta que se pode fazer. Isto corresponde ao parâmetro temporal. n = 0, 1, 2, 3,......,k O espaço de estados está definido pelas possíveis quantidades de dinheiro que pode possuir o jogador em n. S= { 0, 1.000, , C } Resolver este processo estocástico consiste em avaliar: P(X(n)=i) = p i (n), a probabilidade de que o jogador tenha i quantidade de dinheiro justo depois da n-ésima aposta. Modelagem formal do sistema

Pesquisa Operacional II 23 Espaço Discreto e Parâmetro Discreto S n O jogador começa com $ Representação Gráfica do sistema modelado Espaço de estados possíveis para as três primeiras apostas. Representa a quantidade de dinheiro acumulada pelo jogador justo depois da n-ésima aposta.

Pesquisa Operacional II 24 Tipos de Processos Estocásticos Espaço Discreto e Parâmetro Discreto Modelagem do sistema Exemplo de um sistema Representação gráfica Descrição Geral Espaço Contínuo e Parâmetro Discreto

Pesquisa Operacional II 25 Espaço Contínuo e Parâmetro Discreto Neste tipo de processos o parâmetro toma valores inteiros, pelo que se associa geralmente aos naturais. No caso do espaço contínuo, os resultados estão associados a intervalos de espaço. A informação que se obtém a partir deste tipo de processos é a probabilidade acumulada dentro de um intervalo do espaço de estados logo de n experimentos. Descrição Geral 1-

Pesquisa Operacional II 26 Espaço Contínuo e Parâmetro Discreto O experimento consiste em tomar o tempo que demora um pacote ao ser enviado e recebido através da rede por um mesmo terminal. As medições são realizadas cada vez que se envia um pacote desde o equipamento transmissor. O tempo varia continuamente desde um mínimo tempo de propagação “m” até o timeout “M”. Exemplo O sistema que se descreve a continuação pode ser modelado como um processo estocástico de espaço contínuo e parâmetro discreto.

Pesquisa Operacional II 27 Espaço Contínuo e Parâmetro Discreto Seja n o número de experimento que se realiza, enviar e receber um pacote. Isto define o parâmetro temporal. n = 0, 1, 2, 3,......,k O espaço de estados está definido por todos os possíveis tempos medidos em cada experimento. S= [ m, M ] A solução deste exemplo esta descrita por, seja: P(T(n)=i) = p i (n), a probabilidade de que o tempo medido no n-ésimo experimento seja i. Modelagem formal do sistema

Pesquisa Operacional II 28 Espaço Contínuo e Parâmetro Discreto Representação Gráfica do sistema modelado Espaço Amostral 2 P(t) 1 m M 0 Espaço Amostral n P(t) 1 m M N n Espaço Amostral 1 P(t) 1 m M 0 Distribuição de probabilidade para o experimento N Probabilidade de que um pacote demore no máximo i. i

Pesquisa Operacional II 29 Tipos de Processos Estocásticos Espaço Discreto y Parâmetro Discreto Modelagem do sistema Descrição de um sistema Representação gráfica Descrição Geral Espaço Discreto y Parâmetro Contínuo Espaço Contínuo y Parâmetro Discreto

Pesquisa Operacional II 30 Espaço Discreto e Parâmetro Contínuo Neste tipo de processos o parâmetro toma valores dentro de um intervalo contínuo, pelo que se associa geralmente ao tempo. No caso do espaço discreto, os resultados associados a cada estado são totalmente distinguíveis dentro do espaço. A informação que se obtém a partir deste tipo de processos é a probabilidade de estar em um estado determinado logo de um intervalo de tempo. Descrição Geral 1-

Pesquisa Operacional II 31 Espaço Discreto e Parâmetro Contínuo Com um sistema digital se registra em forma contínua a utilização de um canal de dados. O parâmetro temporal é contínuo pelo tipo de medição, porém o espaço é discreto porque o canal pode ter utilizado um número determinado de bits em cada unidade de tempo. Exemplo O sistema que se descreve a continuação pode ser modelado como um processo estocástico de espaço discreto e parâmetro contínuo. Central Telefônica

Pesquisa Operacional II 32 Espaço Discreto e Parâmetro Contínuo Seja t o parâmetro temporal que define o tempo transcorrido em uma medição. t = [0,  [ O espaço de estados está definido pela quantidade de bits por unidade de tempo. S= { 0, 1, 2, 3, 4, 5, …, C } A solução deste exemplo esta descrita por, seja: P(T(t)=i) = p i (t), a probabilidade de que ao ter transcorrido t segundos tenham transitado i bits pelo canal de dados. Modelagem formal do sistema

Pesquisa Operacional II 33 Espaço Discreto e Parâmetro Contínuo Representação Gráfica do sistema modelado P(t) 1 t Espaço Amostral Medição do trafego de bits. Probabilidade de que depois de t segundos tenham transitado 1 bit.

Pesquisa Operacional II 34 Tipos de Processos Estocásticos Espaço Discreto y Parâmetro Discreto Modelagem do sistema Descrição de um sistema Descrição Geral Espaço Contínuo y Parâmetro Contínuo Espaço Contínuo y Parâmetro Discreto Espaço Discreto y Parâmetro Contínuo

Pesquisa Operacional II 35 Espaço Contínuo e Parâmetro Contínuo Neste tipo de processos o parâmetro toma valores dentro de um intervalo contínuo, pelo que se associa geralmente ao tempo. No caso do espaço contínuo, os resultados estão associados a intervalos de espaço. A informação que se obtém a partir deste tipo de processos é a probabilidade de acumular certa quantidade logo de um intervalo de tempo. Descrição Geral 1-

Pesquisa Operacional II 36 Espaço Contínuo e Parâmetro Contínuo Um exemplo de isto é o Movimento Browniano que descreve o movimento de uma partícula em um meio aquoso. Seja X(t) a posição X da partícula no instante de tempo t. Logo de um intervalo de tempo a partícula se encontrará em alguma posição aleatória. O problema é encontrar a probabilidade de que a partícula se encontre em qualquer posição X para qualquer instante de tempo t. Exemplo O sistema que se descreve a continuação pode ser modelado como um processo estocástico de espaço contínuo e parâmetro contínuo.

Pesquisa Operacional II 37 Espaço Contínuo e Parâmetro Contínuo Seja t o parâmetro temporal: t = [0,  [ O espaço de estados está definido por todas as possíveis posições da partícula no meio aquoso. X= ] - , +  [ A solução deste exemplo esta descrita por, seja: P(X(t)=i) = p i (t), a probabilidade de encontrar a partícula na posição i no instante t. Modelagem formal do sistema

Pesquisa Operacional II 38 Características Estatísticas das Variáveis Aleatórias  Um processo estocástico diz-se estacionário se o seu comportamento estocástico for independente do tempo, ou seja, se a função distribuição da(s) v.a. que o define(m) não variar no tempo.  Um processo estocástico diz-se Markoviano ou de Markov se for estacionário e gozar da propriedade de Markov ou da “perda de memória”, isto é, se o seu comportamento futuro apenas for condicionado pelo estado presente, independentemente do seu histórico ou dos estados visitados no passado. A única distribuição contínua que apresenta esta propriedade é a distribuição exponencial. Para um processo de Markov é completamente irrelevante qualquer informação sobre estados passados ou sobre o tempo de permanência no estado presente.

Pesquisa Operacional II 39 Características Estatísticas das Variáveis Aleatórias  Num processo estocástico as transições entre estados são causadas pela ocorrência de acontecimentos ou eventos, pelo que a variável aleatória (diretamente restringida pela propriedade de ausência de memória) é o tempo entre acontecimentos sucessivos.  Um processo estocástico de Semi-Markov é uma generalização de um processo de Markov, já que, para aquele, a informação sobre o tempo de permanência no estado atual deixa de ser irrelevante; contudo, continua a ser irrelevante para o comportamento futuro qualquer informação sobre os estados visitados no passado.  A conseqüência é que os tempos entre acontecimentos sucessivos deixam de estar “restringidos” à distribuição exponencial, podendo seguir qualquer distribuição de probabilidade.

Pesquisa Operacional II 40 Características Estatísticas das Variáveis Aleatórias Apesar da propriedade de Markov nem sempre ter aderência à realidade, os processos de Markov são, de longe, os processos estocásticos mais utilizados graças à sua facilidade de tratamento.