A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

2/18/2014Mestrado em Ciencia da Computacao1 Classificação Redes Neurais AULA 11 DATA MINING Sandra de Amo.

Apresentações semelhantes


Apresentação em tema: "2/18/2014Mestrado em Ciencia da Computacao1 Classificação Redes Neurais AULA 11 DATA MINING Sandra de Amo."— Transcrição da apresentação:

1 2/18/2014Mestrado em Ciencia da Computacao1 Classificação Redes Neurais AULA 11 DATA MINING Sandra de Amo

2 2/18/2014Mestrado em Ciencia da Computacao2 Redes Neurais 2 I1I1 I3I3 I2I2 Camada Intermediária Camada de Output Camada de Input w32w32 3 Conjunto de unidades inputoutput Conceito de Neurônio Artificial Cada vértice de uma camada é ligado a todos os vértices da camada seguinte.

3 2/18/2014Mestrado em Ciencia da Computacao3 Como definir a topologia da rede ? Topologia: número de camadas intermediárias, número de neurônios nas camadas intermediárias e inicialização dos pesos e tendências. Topologia ideal : Processo de tentativa e erro Número de camadas intermediárias pode ser maior do que 1 Mais comum: uma única camada intermediária Se a rede treinada é julgada não confiável, repete-se o processo de treinamento com outra topologia e outros pesos e tendências iniciais Diversas técnicas automáticas foram propostas para se encontrar a topologia ideal da rede (produzindo os resultados com maior acuracia).

4 2/18/2014Mestrado em Ciencia da Computacao4 Camadas de Input e de Output Input Se atributos não são categorizados Um neurônio para cada atributo Valores dos atributos são normalizados entre 0 e 1. Se atributos são categorizados NAi = número de valores do atributo Ai Total de neurônios da camada inicial = NA1 + NA2 + NA NAm onde {A1, A2,..., Am} = conjunto dos atributos

5 2/18/2014Mestrado em Ciencia da Computacao5 Camadas de Input e de Output Output Número de neurônios = número de classes Se número de classes = 2 número de neurônios = 1 Basta um único neurônio na camada de output para o treinamento da rede. Supõe-se que este neurônio corresponde à classe 1 Se a amostra está na classe 0, então o output correto deveria ser 0. Se a amostra está na classe 1, o output correto deveria ser 1.

6 2/18/2014Mestrado em Ciencia da Computacao6 Rede Neural e Classificação INPUT I j na unidade j + θ j w 0j w 1j w 2j x0 x2 x1 Output Oj Função de Ativação Outputs da Camada precedente Pesos Média ponderada dos outputs recebidos tendência

7 2/18/2014Mestrado em Ciencia da Computacao7 Função de Ativação Serve para normalizar os outputs que são calculados em cada neurônio. É uma função não-linear, diferenciável. Normalmente, utiliza-se a função: f(x) = 1/(1+e x ) cuja derivada satisfaz f (x) = f(x) (1 – f(x))

8 2/18/2014Mestrado em Ciencia da Computacao8 Backpropagation – Fase de IDA I1I1 I3I3 I2I2 C1C1 C2C2 C3C3 Classe C 1 δ1δ1 δ2δ2 δ3δ3 1 ? 0 ?

9 2/18/2014Mestrado em Ciencia da Computacao9 Backpropagation – Fase de Volta I1I1 I3I3 I2I2 C1C1 C2C2 C3C3 Ajusta pesos w 22 w 32 w 12 w 32 w 22 Ajusta pesos w 22 w 32 w 12 w 32 w 22

10 2/18/2014Mestrado em Ciencia da Computacao10 Condições de Parada Epoca = tempo necessário para que todas as amostras sejam analisadas. Processo se repete até que: Os reajustes dos pesos são muito pequenos. Só uma pequena porcentagem de amostras foi mal classificada pela rede. Um número máximo de épocas foi atingido.

11 2/18/2014Mestrado em Ciencia da Computacao11 Backpropagation Objetivo: obter uma rede neural treinada Centenas de milhares de épocas são necessárias para a convergência dos pesos. Teoricamente, convergência não é garantida. Na prática, os pesos convergem depois de um grande número de épocas.

12 2/18/2014Mestrado em Ciencia da Computacao12 Ida : Como são calculados os outputs I1I1 I2I2 I3I3 i w 2i w 3i w 1i O i = F( w 1i *I 1 + w 2i *I 2 + w 3i *I 3 + θ i ) OiOi F(x) = 1/(1+e -x )

13 2/18/2014Mestrado em Ciencia da Computacao13 Volta: Cálculo dos Erros δiδi Erro em unidade da última camada Compara com T i = classe verdadeira 0, 1, 2..? E i = δ i (1- δ i )(T i – δ i ) i i 2 3 w i1 w i2 w i3 E i = O i (1- O i )(E 1 *w i1 +E 2 *w i 2 +E 3 w i3 ) Erro em unidade da camada intermediária 1

14 2/18/2014Mestrado em Ciencia da Computacao14 Reajustes dos pesos e tendências Novo peso w ij w ij ij Novo-w ij = Velho-w ij + λ E j O i Nova Tendência θj λ = Taxa de Aprendizado λ(t) = 1/t Evita que o processo fique parado num mínimo local Novo-θ j = Velho- θj + λ E j t = iteração atual

15 2/18/2014Mestrado em Ciencia da Computacao15 Exemplo w 14 w 24 w 34 w 46 w 56 w 14 Amostra classificada na classe C = 1 W 14 W 15 W 24 W 25 W 34 W 35 W 46 W 56 θ4θ4 θ5θ5 θ6θ

16 2/18/2014Mestrado em Ciencia da Computacao16 Exemplo Ida Volta UnidadeInputOutput – 0.5 – 0.4 = /1+e 0.7 = = 0.11/1+e -0.1 = (-0.3)(0.332) – (0.2)(0.525) = /1+e = UnidadeErro 6(0.474)( )( ) = (0.525)( )( )(-0.2) = (0.332)( )( )(-0.3) =

17 2/18/2014Mestrado em Ciencia da Computacao17 Exemplo : Erros E6 = (0.474)( )( ) = E5 = (0.525)( )(0.1311)(-0.2) = E4 = (0.332)( )(0.1311)(-0.3) =

18 2/18/2014Mestrado em Ciencia da Computacao18 Ex: Ajustes dos Pesos e Tendências λ = 0.90 AntigoValor Reajustado W 46 = (0.90)(0.1311)(0.332) = w 56 = (0.90)(0.1311)(0.525) = w 14 = (0.90)( )(1) = w 15 = (0.90)( )(1) = w 24 = (0.90)( )(0) = 0.4 w 25 = (0.90)( )(0) = 0.1 w 34 = (0.90)( )(1) = w 35 = (0.90)( )(1) = θ 6 = (0.90)(1.1311) = θ 5 = (0.90)( ) = θ 4 = (0.90)( ) =

19 2/18/2014Mestrado em Ciencia da Computacao19 Ajustes dos pesos e tendências : Modo Padrão Modo Padrão (ou case updating) A cada nova amostra analisada é feito o ajuste dos pesos e tendências na fase de volta. Os pesos e tendências atualizados são utilizados na fase da ida para a amostra seguinte. Em cada época os pesos e tendências são ajustados N vezes, onde N = total de amostras.

20 Ajustes dos pesos e tendências : Modo Batch Modo Batch (ou epoch updating) Para cada amostra armazena-se os erros Ej obtidos na fase da volta, para cada neurônio Nj (das camadas de output e intermediárias). No final da época (quando todas as amostras foram analisadas), calcula-se para cada neurônio intermediário ou da camada de output a média dos erros calculados em cada iteração. Utiliza-se estes erros médios dos neurônios para ajustar os pesos e tendências no final da época. Assim em cada época os pesos e tendências são ajustados uma única vez. Análise: O modo padrão é o mais utilizado na prática, produz resultados mais acurados do que o modo batch. 2/18/2014Mestrado em Ciencia da Computacao20

21 2/18/2014Mestrado em Ciencia da Computacao21 Classificação por Backpropagation Input: um banco de dados de treinamento (amostras) Output: uma rede neural treinada Problema: Como extrair regras de classificação de uma rede neural treinada ?

22 2/18/2014Mestrado em Ciencia da Computacao22 Vantagens e Desvantagens Fase de treinamento demorada Muitos parâmetros, determinados empiricamente Fraca interpretabilidade Alta tolerância a ruídos Resultados Confiáveis

23 2/18/2014Mestrado em Ciência da Computação23 Redes Neurais como classificadores Classificadores robustos – boa acurácia mesmo em presença de ruídos. Acurácia muito superior à acurácia de classificadores baseados em árvores de decisão. Problemas Processo lento, exige diversas tentativas para encontrar topologia adequada. Resultados da classificação = uma rede treinada. Pouca utilidade num ambiente de grande volume de dados Importante que o resultado seja em forma de regras Busca de tuplas satisfazendo as condições de uma regra pode ser feita usando SQL.

24 2/18/2014Mestrado em Ciência da Computação24 Poda de um rede neural – por que ? Uma rede treinada é totalmente conectada Muitos nós e muitos links ! Impossível de extrair regras concisas que sejam úteis e significativas para os usuários possam facilmente ser transformadas em consultas de uma linguagem de banco de dados Fase da Poda: Objetivos remoção de links e nós sem afetar a taxa de erro da rede. obtenção de uma rede com um número pequeno de nós e links, dos quais é possível extrair-se regras concisas e compreensíveis para o usuário final.

25 2/18/2014Mestrado em Ciência da Computação25 Referências S.M.Weiss, C.A. Kulikowski: Computer Systems that Learn: Classification and Prediction Methods from Statistics, Neural Nets, Machine Learning and Expert Systems. San Mateo, CA, Morgan Kaufmann, H. Lu, R. Setiono, H. Liu: NeuroRule: A Connectionist Approach to Data Mining. VLDB 1995, pp Rudy Setiono - A Penalty-function Approach for Pruning Feedforward Neural Networks (1997). Neural Computation, 1997, Vol. 9, pages Leitura interessante: Rede Neural simula o modelo de aprendizagem do cérebro humano ?? Asin Roy: Artificial Neural Networks: A Science in Trouble. SIGKDD Explorations, Vol. 1, Issue 2, Jan. 2000,


Carregar ppt "2/18/2014Mestrado em Ciencia da Computacao1 Classificação Redes Neurais AULA 11 DATA MINING Sandra de Amo."

Apresentações semelhantes


Anúncios Google