Classificadores Bayesianos Classificadores Bayesianos são classificadores estatísticos que classificam um objeto numa determinada classe baseando-se na probabilidade deste objeto pertencer a esta classe. Produz resultados rapidamente, de grande correção quando aplicados a grandes volumes de dados, comparáveis aos resultados produzidos por árvores de decisão e redes neurais.

Classificadores Bayesianos Ingênuos Os classificadores Bayesianos Ingênuos ou Simples supõem como hipótese de trabalho que o efeito do valor de um atributo não-classe é independente dos valores dos outros atributos. Isto é, o valor de um atributo não influencia o valor dos outros. Esta hipótese tem como objetivo facilitar os cálculos envolvidos na tarefa de classificação.

Funcionamento dos Classificadores Bayesianos Ingênuos Consideramos um banco de dados de amostras classificadas em n classes distintas C 1 ;C 2,...;C n. Suponha que X é uma tupla a ser classificada (não está no banco de dados de amostras). O classificador vai classificar X numa classe C para a qual a probabilidade condicional P[C | X] é a mais alta possível. Os valores dos atributos de X podem ser encarados como um evento conjunto. Assim, se os atributos do banco de dados são Idade, Profissão e Renda e X = (30..40, Professor, Alta), então X pode ser vista como o evento Idade = , Profissão = Professor e Renda = Alta. X será classificada na classe C se a probabilidade condicional de C acontecer dado que X acontece, é maior do que a probabilidade de qualquer outra classe C’ acontecer dado que X acontece.

Funcionamento dos Classificadores Bayesianos Ingênuos Assim, a tupla X será classificada na classe C i se P[C i | X] > P[C j | X] Para todas as outras classes C j, C j ≠ C i. Esta probabilidade P[C i |X] também é chamada probabilidade posterior.

Funcionamento dos Classificadores Bayesianos Ingênuos Da teoria das probabilidades, se dois eventos A e B são independentes, então: P(AB) = P(A) * P(B) O Teorema de Bayes associado a teoria das probabilidades descrita acima fornece uma maneira de calcular P[C i | X]. Sabe-se que: P[X ∩ C] = P[X | C] * P[C] = P[C | X] * P[X]

Funcionamento dos Classificadores Bayesianos Ingênuos As probabilidades P[X i |C] podem ser calculadas a partir da base de amostras da seguinte maneira:

Funcionamento dos Classificadores Bayesianos Ingênuos IDIdadeRendaEstudanteCréditoCompra-Computador 1<=30Altanãobomnão 2<=30Altanãobomnão Altanãobomsim 4>40Médianãobomsim 5>40Baixasimbomsim 6>40Baixasimexcelentenão Baixasimexcelentesim 8<=30Médianãobomnão 9<=30Baixasimbomsim 10>40Médiasimbomsim 11<=30Médiasimexcelentesim Médianãoexcelentesim Altasimbomsim 14>40Médianãoexcelentenão Consideremos o seguinte banco de dados (o atributo classe é Compra-Computador):

Funcionamento dos Classificadores Bayesianos Ingênuos A classe C 1 corresponde a Compra-Computador = ‘sim’ e a classe C 2 corresponde a Compra-Computador = `não'. A tupla desconhecida que queremos classificar é : X = (Idade =≤30, Renda = Media, Estudante = sim, Credito = bom) Precisamos maximizar P[X|C i ]P[C i ] para i=1;2. As probabilidades P[C i ] podem ser calculadas baseando-se no banco de dados de amostras: P[C1] =9/14 = 0,643 P[C2] =5/14 = 0,357 Para calcular P[X j C i ], para i = 1; 2, calculamos as seguintes probabilidades:

Funcionamento dos Classificadores Bayesianos Ingênuos P [Idade <=30|CompraComp = sim] = 2/9 = 0,222 P [Idade <= 30|CompraComp = nao] = 3/5 = 0,6 P [Renda = Media |CompraComp = sim] = 4/9 = 0,444 P [Renda = Media |CompraComp = nao] = 2/5 = 0,4 P [Estudante = sim |CompraComp = sim] = 6/9 = 0,667 P [Estudante = sim |CompraComp = nao] = 1/5 = 0,2 P [Credito = bom |CompraComp = sim] = 6/9 = 0,667 P [Credito = bom |CompraComp = nao] = 2/5 = 0,4 Utilizando as probabilidades acima, temos: P [X |CompraComp = sim] = 0,222 * 0,444 * 0,667 * 0,667 = 0,044 P [X |CompraComp = nao] = 0,6 * 0,4 * 0,2 * 0,4 = 0,019 P [X |CompraComp = sim] * P [CompraComp = sim] = 0,044 * 0,643 = 0,028 P [X |CompraComp = nao] * P [CompraComp = nao] = 0,019 * 0,357 = 0,007 Desta maneira, o classificador Bayesiano prediz que a tupla X é classificada na classe Compra-Computador = `sim'.

Classificadores Bayesianos Ingênuos Referências Goldschimidt E. Passos, Ronaldo - Data Mining: Um Guia Prático. Primeira Edição. Rio de Janeiro, Editora Elsevier: Acesso em 28/02/2010.