Métodos Probabilísticos
Naive Bayes O pensamento Bayesiano fornece uma abordagem probabilística para aprendizagem Está baseado na suposição de que as quantidades de interesse são reguladas por distribuições de probabilidade. Abordagem estatística, baseada no teorema de Bayes . Naïve (ingênuo) porque considera que os atributos são independentes.
Naïve Bayes – visão geral Seja o exemplo de dados: Os objetos podem ser classificados em vermelho ou verde Como há mais objetos verdes que vermelhos, a probabilidade a priori é que um novo objeto seja verde Probabilidade a priori de verde = número de objetos verdes/ número total de objetos = 40/60 = 4/6 Probabilidade a priori de vermelho = número de objetos vermelhos / número total de objetos = 20/60 = 2/6
Naïve Bayes – visão geral Queremos classificar um novo objeto X (ponto branco) Como os objetos estão agrupados, é razoável considerar que quanto mais objetos de uma classe houver “parecidos” com X, maior a chance de X ser daquela classe. Vamos considerar o “parecido” pelo círculo na figura (estar dentro do círculo) e calcular a probabilidade: Probabilidade de “parecido” dado que é verde = número de objetos verdes no círculo/ número total de verdes= 1/40 Probabilidade de “parecido” dado que é vermelho = número de objetos vermelhos no círculo/ número total de vermelhos= 3/20
Naïve Bayes – visão geral Na análise Bayesiana, a classificação final é realizada considerando estas duas informações usando a probabilidade condicional do Teorema de Bayes: A probabilidade condicional de X ser verde dado que é “parecido” = probabilidade a priori de verde vezes Probabilidade de “parecido” dado que é verde = 4/6 . 1/40 = 1/60 Analogamente, A probabilidade condicional de X ser vermelho dado que é “parecido” = 2/6 . 3/20 = 1/20 Portanto, a classe predita de X seria vermelho, pois é a maior probabilidade
Características da Aprendizagem Bayesiana Cada exemplo de treinamento pode decrementar ou incrementar incrementalmente a probabilidade de uma hipótese ser correta. Conhecimento a priori pode ser combinado com os dados observados para determinar a probabilidade de uma hipótese. Métodos Bayesianos podem acomodar hipóteses que fazem predições probabilísticas (Ex: Este paciente tem uma chance de 93% de se recuperar) Novas instâncias podem ser classificadas combinando a probabilidade de múltiplas hipóteses ponderadas pelas suas probabilidad
Teorema de Bayes
Mais tecnicamente…. Aprendizagem da classificação: qual é a probabilidade da classe dado um exemplo? – Evidência E = exemplo (registro, com os valores dos atributos) – Hipótese H = valor da classe para o exemplo Teorema de Bayes (1763): P( H| E) = Suposição do classificador bayesiano ingênuo: evidência pode ser separada em partes independentes (os atributos do exemplo) P(E1 ,E2 ,...,En | H) =P(E1 |H ).P( E2|H)... .P(En |H ) P(E|H).P(H) P(E) P( E1 |H ).P( E2 | H)... .P(En | H).P(H ) P( E1 ).P( E2)... .P(En)
Teorema de Bayes Geralmente queremos encontrar a hipótese mais provável h ∈ H, sendo fornecidos os dados de treinamento D. Ou seja, a hipótese com o máximo a posteriori
Teorema de Bayes Desprezamos o termo P(D) porque ele é uma constante independente de h. Se assumirmos que cada hipótese em H é igualmente provável a priori, i.e. P(hi)=P(hj) ∀hi ehj emH Então, podemos simplificar mais e escolher a hipótese de máxima probabilidade condicional (maximum likelihood = ML).
Teorema de Bayes: Exemplo Considere um problema de diagnóstico médico onde existem duas hipóteses alternativas: O paciente tem câncer O paciente não tem câncer Os dados disponíveis são de um exame de laboratório com dois resultados possíveis: +: positivo -:negativo
Exemplo Temos o conhecimento prévio que na população inteira somente 0.008 tem esta doença. O teste retorna um resultado positivo correto somente em 98% dos casos nos quais a doença está atualmente presente. O teste retorna um resultado negativo correto somente em 97% dos casos nos quais a doença não esteja presente. Nos outros casos, o teste retorna o resultado oposto.
Aplicando o Teorema de Bayes Supondo que um paciente fez um teste de laboratório e o resultado deu positivo. O paciente tem câncer ou não ? Calculando a hipótese com maior probabilidade a posteriori: P(⊕|câncer) P(câncer) = 0.98 . 0.008 = 0.0078 P(⊕|¬câncer) P(¬câncer) = 0.03 . 0.992 = 0.0298 Assim, hMAP = ¬câncer
Classificador Ótimo de Bayes Até agora consideramos a questão “Qual a hipótese mais provável (i.e. hMAP) dado os exemplos de treinamento (D)?” De fato, a questão mais significativa é na verdade “Qual é a classificação mais provável de uma nova instância dado os dados de treinamento?” A hipótese MAP (hMAP ) é ou não a classificação mais provável? Considere três hipóteses possíveis h1, h2 e h3 e suponha as seguintes probabilidades a posteriori destas hipóteses dado o conjunto de treinamento D: P(h1|D) = 0.4 P(h2|D) = 0.3 P(h3|D) = 0.3 Qual é a hipótese MAP?
O problema da frequência zero Se um valor de atributo nunca ocorrer para uma classe (como por exemplo Aspecto=nublado para a classe N) – A probabilidade será zero! P(nublado | N) = 0 – A probabilidade a posteriori será zero, independentemente dos outros valores! P(N | E) = 0 • Solução: Estimador de Laplace ⇒ somar 1 à contagem de todas as combinações de classe e valor de atributo. • Resultado: as probabilidades nunca serão zero!
Naïve Bayes rápido Bons resultados em dados reais Vantagens: rápido Bons resultados em dados reais Desvantagens: Resultados não tão bons em problemas complexos Mozilla Thunderbird e Microsoft Outlook usam classificadores naive bayes para filtrar (marcar) emails que seriam spam