Geração de classificadores Generalização de exemplos.

Apresentação em tema: "Geração de classificadores Generalização de exemplos."— Transcrição da apresentação:

1

2 Geração de classificadores

3 Generalização de exemplos

4

5

6 Classificação Bayesiana X é uma variável aleatória Padrões  i, i = 1,..., n Para cada  k temos a função de probabilidade P(X|  k ) P(  k ) é conhecida X ~  i se P(  i ) P(X|  i )  P(  k ) P(X|  k ) para todo k = 1,..., n

7 Classificação bayesiana

8 Representação das famílias Precisamos de uma descrição para as famílias Podemos representar o DNA e o RNA por seqüências de a, c, g, t ou u Em linguagens formais: –Um conjunto de seqüências formam uma linguagem –linguagens são descritas por gramáticas

9 Uma gramática Frase ::= sujeito predicado sujeito ::= artigo nome artigo ::= a | o nome ::= cão | moça | dia predicado ::= verbo adjetivo verbo ::= está | estava adjectivo ::= feliz | triste

10 Gramática Reconhecimento Geração Árvore sintática

11 Gramática Uma gramática é formada por: –V t é um conjunto de símbolos terminais –V n é um conjunto de símbolos não terminais –P é um conjunto de produções –S é o símbolo inicial

12 Classes gramaticais (cont.) Regulares: –A  a | a B Livres de Contexto: –A  a B C f d Sensíveis ao Contexto: –a A D  a B C f d

13 Gramática regular S ::= a S | u S | g S | c S | a | u | g | c Ex: uaggcuacgccagcau

14 Gramática livre de contexto S ::= a S u | u S a | c S g | g S c | 

15 Gramática livre de contexto S ::= a S u | u S a | c S g | g S c | A A ::= A a | A u | A c | g A | a | u | c | g

16 Gramática livre de contexto S ::= a S u | u S a | c S g | g S c | SS

17 SCFG e estrutura secundária (slide de Ariane Machado Lima)

18 Gramática sensível ao contexto

19 A ::= a z B | a m B zB ::= zul mB ::= marelo

20 Classes gramaticais Diferentes complexidades Regular já é interessante: –gramática de seqüência clonada –HMM

21 Gramáticas estocásticas S ::= Prom SeqCod [1] Prom ::= TATA Seq [0.6]... SeqCod ::= Cod SeqCod [0.998] SeqCod ::= Stop [0.002] Cod ::= Lys [0.03] Cod ::= Asp [0.035]...

22 Gramáticas estocásticas cada gramática gera uma distribuição de probabilidades classificadores –bayesianos –? threshold? problema: probabilidade da sequência inversamente proporcional ao número de produções aplicadas na árvore sintática –isso pode dar problema mesmo na abordagem bayesiana classificação binária –z score.

23 Resultados: Data searching NLL- score: –Negative Log Likelihood -log (P(Seq | gramática)) –Dependente do tamanho da seqüência de teste mais precisamente do número de produções utilizados em GRE numero de produções igual ao tamanho –Precisa de normalização

24 Z- score Tenha uma amostra positiva e uma negativa Para cada tamanho de seq negativa (número de produções), calcule o NLL médio negativo Pontos não cobertos -> interpolação Para cada seq da amostra (+ e -), calcule seu Z-score: (NLL(X) – NLL med,neg,tam=x ) Z tam=x (X)= ------------------------------------ DesvioPadrão(NLL neg,tam=x ) Plote esses valores em um gráfico Z x nr seq Encontre um limiar que separe as amostras + e - –3,8 é o mais utilizado

25 Gramáticas regulares vs. HMM gramáticas regulares e HMM tem poder semelhante de expressão dada uma HMM podemos desenhar uma gramática regular estocástica que gera a mesma distribuição de probabilidades

26 Inferência gramatical – gramáticas regulares gramáticas podem ter sua arquitetura inferida automaticamente a partir de um conjunto de sequências –árvore de prefixos –generalizações por junção de nós probabilidades podem ser inferidas conjuntamente ou em separado