Modelos de Markov Ocultos no Reconhecimento da Língua LIBRAS Prof. Dr. Hemerson Pistori GPEC - Grupo de Pesquisa em Engenharia e Computação UCDB - Universidade Católica Dom Bosco

GPEC – Grupo de Pesquisa em Engenharia e Computação da UCDB – ww.gpec.ucdb.br 2 /28 Sumário ➢ Conceitos Fundamentais de Probabilidade e Estatística ➢ Redes Bayesianas ➢ Processos Estocásticos e Modelos de Markov ➢ Reconhecimento de Língua de Sinais ➢ Modelos de Markov Ocultos ➢ Principais Algoritmos ➢ Conclusão

GPEC – Grupo de Pesquisa em Engenharia e Computação da UCDB – ww.gpec.ucdb.br 3 /28 Conceitos Fundamentais ➢ Variáveis Aleatórias Discretas ➢ Funções de Distribuição de Probabilidade ➢ Probabilidade Condicional ➢ Independência ➢ Distribuição Conjunta

GPEC – Grupo de Pesquisa em Engenharia e Computação da UCDB – ww.gpec.ucdb.br 4 /28 Variáveis Aleatórias Discretas Variável Aleatória Discreta Exemplo: x – ocorrência de uma determinada letra do alfabeto em um texto escrito em português. a b c d e f g h i j... Possíveis valores para a variável x p(x =a) =0.03 p(x =e) =0.02 Poderíamos estimar a F.D.P. a partir de textos. Como ?

GPEC – Grupo de Pesquisa em Engenharia e Computação da UCDB – ww.gpec.ucdb.br 5 /28 Probabilidade Condicional e Independência x k – ocorrência de uma letra na posição k x k-1 – ocorrência de uma letra na posição k-1 p(x k ='a' | x k-1 ='s') > p(x k ='a' | x k-1 ='a') ? p(x k ='a'|x k-1 ='z') >p(x k ='a'|x k-1 ='z',x k-2 ='z',x k-3 ='i',x k-4 ='p')? p(x k ='a' ) > p(x k ='a' | x k-1 ='s') ? p(x k ='a') >p(x k ='a'|x k-2000 ='s') ?

GPEC – Grupo de Pesquisa em Engenharia e Computação da UCDB – ww.gpec.ucdb.br 6 /28 Probabilidade Condicional e Independência x c – curso ('c' – computação, 'd' – direito, 'l' - letras) x s – sexo ('f' – feminino, 'm' – masculino') p(x s ='f') = 1/2 p(x c ='c') = 1/3 p(x s ='f'|x c ='c' ) =1/4 MC FC MD FD FLFLFLFL Situação 1 MC FC MD FD ML FL Situação 2 p(x s ='f') = 1/2 p(x c ='c') = 1/3 p(x s ='f'|x c ='c' ) =1/2

GPEC – Grupo de Pesquisa em Engenharia e Computação da UCDB – ww.gpec.ucdb.br 7 /28 Probabilidade Condicional e Independência p(x s ='f'|x c ='c' ) =1/4 = (1/12) / (4/12) = p(x s ='f',x c ='c' )/p(x s ='c') MC FC MD FD FLFLFLFL Situação 1 MC FC MD FD ML FL Situação 2 p(x s ='f'|x c ='c' ) =1/2 = p(x s ='f') Caso geral : p(x|y) = p(x,y) / p(y) Independência.: p(x|y) = p(x) Outro exemplo: p(x|y1,y2,y3,y4,y5) = p(x|y1,y2)

GPEC – Grupo de Pesquisa em Engenharia e Computação da UCDB – ww.gpec.ucdb.br 8 /28 Distribuição Conjunta MC FC MD FD FLFLFLFL p(x s ='f', x c ='l' ) p(x s ='m') = p(x s ='m',x c ='c')+p(x s ='m',x c ='d')+p(x s ='m',x c ='l')

GPEC – Grupo de Pesquisa em Engenharia e Computação da UCDB – ww.gpec.ucdb.br 9 /28 Distribuição Conjunta p(x k ='a'|x k-1 ='z',x k-2 ='z',x k-3 ='i',x k-4 ='p')? Caso as variáveis não sejam independentes teremos que manter os valores da distribuiçao conjunta de 5 variáveis. Considerando 23 diferentes letras: Precisaremos de um matriz com 23 5 células: ~ 6 Mega - 24 Mb (4 bytes por célula)

GPEC – Grupo de Pesquisa em Engenharia e Computação da UCDB – ww.gpec.ucdb.br 10 /28 Redes Bayesianas Utiliza informações sobre independência para diminuir custo em espaço para armazenar distribuição conjunta x1x1 x2x2 x4x4 x6x6 x3x3 x5x5 p(x 1,x 2,x 3,x 4,x 5,x 6 ) = p(x 1 ).p(x 2 |x 1 ).p(x 3 |x 2 ). p(x 4 |x 2 ).p(x 5 |x 2 ).p(x 6 |x 3,x 4,x 5 ) ~4 Mb ~40 Kb - 4 bytes por célula - 10 valores por variável

GPEC – Grupo de Pesquisa em Engenharia e Computação da UCDB – ww.gpec.ucdb.br 11 /28 Teorema de Bayes p(x | y) = p(x,y) / p(y) p(y | x) = p(y,x) / p(x) p(x,y) = p(y,x) Conjunção é comutativa. p(x | y) = ( p(y | x) * p(x) ) / p(y) p( d = 'meningite' | s = 'dor na nuca') = ? p( d = 'torcicolo' | s = 'dor na nuca') = ? meningite ou torcicolo ? p(n|m)*p(m) > p(n|t)*p(t)

GPEC – Grupo de Pesquisa em Engenharia e Computação da UCDB – ww.gpec.ucdb.br 12 /28 Modelos de Markov de ordem n x1x1 x2x2 x3x3 x4x4 x5x5 x6x6 p(x k | x k-1,x k-2,...,x 1 ) = p(x k | x k-1,x k-2 ) x1x1 x2x2 x3x3 x4x4 x5x5 x6x6 p(x k | x k-1,x k-2,...,x 1 ) = p(x k | x k-1 ) Um tipo de modelo utilizado para representar Processos Estocásticos.

GPEC – Grupo de Pesquisa em Engenharia e Computação da UCDB – ww.gpec.ucdb.br 13 /28 Modelos de Markov de Ordem n x k – ocorrência de uma letra na posição k Qual a ordem do modelo de Markov que melhor representaria o problema de “adivinhar a próxima letra” Compromisso: Complexidade no Espaço X Margem de Erro

GPEC – Grupo de Pesquisa em Engenharia e Computação da UCDB – ww.gpec.ucdb.br 14 /28 Outras Limitações x k – ocorrência de uma letra na posição i O estado pode não ser diretamente observável P I S T O R I [4 9 1]', [1 2 0]', [2 5 0]', [3 7 1]', [1 6 0]', [0 3 0]', [1 2 0]' Atributos: Tot. Extremidades, Comprim. do Contorno, Cruzamentos.

GPEC – Grupo de Pesquisa em Engenharia e Computação da UCDB – ww.gpec.ucdb.br 15 /28 Reconhecimento de Língua de Sinais FRUTAS EM LIBRAS Fonte: Dicionário de Libras Ilustrado (Governo do Estado de São Paulo)

GPEC – Grupo de Pesquisa em Engenharia e Computação da UCDB – ww.gpec.ucdb.br 16 /28 Reconhecimento de Língua de Sinais Exemplos de Atributos (1) Total pixels de pele visível, (2) Total pixels mão direita (3) Total pixels mão esquerda, (4) Pontas de dedos visíveis, (5) Distância entre centros de massa das mãos (6) Distância entre centro de massa da mão esquerda e face Observações (Seqüências de Vetores de Atributos): [ ]', [ ]', [ ]',... Estados (exemplos) 1 - Mão direita na configuração “C”, próxima ao queixo, e mão direita fora da área de interesse. 2 – Duas mãos na configuração “V”, na altura do peito, com mão direita ao lado direito do tronco e mão esquerda...

GPEC – Grupo de Pesquisa em Engenharia e Computação da UCDB – ww.gpec.ucdb.br 17 /28 Modelos de Markov Ocultos s1s1 s2s2 s3s3 s4s4 s5s5 Probabilidade de termos duas mãos na configuração “V”, na altura do peito, com mão direita ao lado direito do tronco e mão esquerda do lado esquerdo do tronco, no quadro k, sabendo que tínhamos a mão direita na configuração “C”, próxima ao queixo, e mão direita fora da área de interesse, no quadro k o1o1 o2o2 o3o3 o4o4 o5o5 p(s k | s k-1 ) = p(o k | s k ) = Probabilidade de observarmos um vetor de atributos [ ]' sabendo que a mão direita está na configuração “C”, próxima ao queixo, e a mão direita está fora da área de interesse.

GPEC – Grupo de Pesquisa em Engenharia e Computação da UCDB – ww.gpec.ucdb.br 18 /28 Modelos de Markov Ocultos s1s1 s2s2 s3s3 s4s4 s5s5... o1o1 o2o2 o3o3 o4o4 o5o5 o 1 = [ ]', o 2 = [ ]', o 3 = [ ]',... = Frutas p( |o 1,o 2,...,o T ) = p(o 1,o 2,...,o T ) p(o 1,o 2,...,o T | ) * p( ) Pode ser Ignorado Fácil de Estimar p(o 1,o 2,...,o T | ) – Parte Interessante

GPEC – Grupo de Pesquisa em Engenharia e Computação da UCDB – ww.gpec.ucdb.br 19 /28 Modelos de Markov Ocultos s1s1 s2s2 s3s3 s4s4 s5s5... o1o1 o2o2 o3o3 o4o4 o5o5 = Frutas p(o 1,o 2,...,o T | ) =  V s 1,...,s n p(o 1,...,o T,s 1,...,s T ) p(o 1,...,o T,s 1,...,s T ) = p(s 1 ).p(o 1 |s 1 ).p(o 2 |s 2 )...p(o T |s T ).p(s 2 |s 1 ).p(s 3 |s 2 )...p(s T |s T-1 ) p(o 1,...,o T,s 1,...,s T ) =  p(o k |s k ).p(s k +1 |s k ) k = 1 T p(s 1 ).

GPEC – Grupo de Pesquisa em Engenharia e Computação da UCDB – ww.gpec.ucdb.br 20 /28 Modelos de Markov Ocultos s1s1 s2s2 s3s3 s4s4 s5s5... o1o1 o2o2 o3o3 o4o4 o5o5 = Frutas p(o 1,o 2,...,o T | ) =  V s 1,...,s T  p(o k |s k ).p(s k +1 |s k ) k = 1 T p(s 1 ). Homogeneidade no “Tempo” – Mesmas distribuições S = {1,...,N} O = {1,...,M} p(o 1 =2|s 1 =3) = p(o 3 =2|s 3 =3) p(s 2 =1|s 1 =2) = p(s 5 =1|s 4 =2)

GPEC – Grupo de Pesquisa em Engenharia e Computação da UCDB – ww.gpec.ucdb.br 21 /28 Modelos de Markov Ocultos 1 p(s 1 = 1) 2 p(s 1 = 2) 3 p(s 1 =3) N p(s 1 = N)... p(s k+1 =1|s k =2) p(s k+1 =3|s k =3) 1 2 M... p(o k =2|s k =1) 2M... p(o k =M|s k =N) 1 Notação Usual: π i = p(s 1 = i) a ij = p(s k+1 =j|s k =i) b ij = p(o k =j|s k =i)

GPEC – Grupo de Pesquisa em Engenharia e Computação da UCDB – ww.gpec.ucdb.br 22 /28 Modelos de Markov Ocultos 1 (0. 4 ) 2 (0. 2) 3 (0. 4) [ ] B = A = π =

GPEC – Grupo de Pesquisa em Engenharia e Computação da UCDB – ww.gpec.ucdb.br 23 /28 Modelos de Markov Ocultos [ ] B = A = π = p( |o 1 =1,o 2 =1,o 3 =2,o 4 =3,o 5 =2) ? Treliça o s k k

GPEC – Grupo de Pesquisa em Engenharia e Computação da UCDB – ww.gpec.ucdb.br 24 /28 Modelos de Markov Ocultos p( |o 1 =1,o 2 =1,o 3 =2,o 4 =3,o 5 =2) ? VIVI VFVF p(o 1,o 2,...,o T | ) =  V s 1,...,s T  p(o k |s k ).p(s k +1 |s k ) k = 1 T p(s 1 ). Problema: Somar o custo (multiplicação dos pesos de vértices e arestas) de cada caminho ligando um vértice de V I a um de V F 0.1

GPEC – Grupo de Pesquisa em Engenharia e Computação da UCDB – ww.gpec.ucdb.br 25 /28 Algoritmo Forward/Backward ➢ Reduz complexidade de O(TN T ) para O(T 2 N) ➢ Baseado em Programação Dinâmica (Tópico de Otimização e Pesquisa Operacional) *2*3*4*5*6*9 + 1*2*3*4*5*7*10 + 1*2*3*4*5*8*11... a ij = Acumulador tempo i estado j 1*2*3*4*5*(6*9 + 7*10 + 8*11)

GPEC – Grupo de Pesquisa em Engenharia e Computação da UCDB – ww.gpec.ucdb.br 26 /28 Algoritmo Viterbi ➢ Encontra seqüência mais provável de estados ➢ Modificação simples do Forward/Backward ➢ Armazenar caminhos de maior valor enquanto calcula valores a ij

GPEC – Grupo de Pesquisa em Engenharia e Computação da UCDB – ww.gpec.ucdb.br 27 /28 Algoritmo Baum-Welch ➢ Calcula os valores das matrizes p, A e B. ➢ Aprendizagem Supervisionada (amostras pré- classificadas) ➢ Amostras com informações “incompletas” (diferente do caso dos cursos e sexo). ➢ Algoritmo EM (expectation-maximization) aplicado aos modelos de Markov ocultos. Observações (Seqüências de Vetores de Atributos): [ ]', [ ]', [ ]',... Estados (manualmente identificados)

GPEC – Grupo de Pesquisa em Engenharia e Computação da UCDB – ww.gpec.ucdb.br 28 /28 Considerações Finais ➢ Áreas envolvidas: probabilidade, estatística, processos estocásticos, teoria dos grafos, programação dinâmica, otimização combinatória, pesquisa operacional, complexidade de algoritmos, aprendizagem de máquina, redes bayesianas, inteligência artificial. ➢ Conceito análogo – Filtros de Kalman (distribuições contínuas) ➢ Conceitos relacionados – Modelos de Markov de Tempo Contínuo. Campos Aleatórios de Markov. Modelos Gráficos.