Rafael Lima(ragpl) Recife, 29 de Junho de 2010.  Descrição do problema  Redes Neurais Artificiais  Preparação dos dados  O experimento  Resultados.

Apresentação em tema: "Rafael Lima(ragpl) Recife, 29 de Junho de 2010.  Descrição do problema  Redes Neurais Artificiais  Preparação dos dados  O experimento  Resultados."— Transcrição da apresentação:

1 Rafael Lima(ragpl) Recife, 29 de Junho de 2010

2  Descrição do problema  Redes Neurais Artificiais  Preparação dos dados  O experimento  Resultados  Conclusões  Bibliografia

3

4 Deseja fritas para acompanhar!?  Direcionamento de Produtos  35% das vendas do Amazom

5

6  Baseadas nas redes neurais biológicas  Neurônio de McCulloch & Pitts  Caracteristicas desejadas ◦ Aprendizagem através de exemplos ◦ Adaptabilidade ◦ Capacidade de generalização ◦ Tolerância a ruídos Dendritos Axônio

7  Rede feed forward com mais de uma camada de neurônios  Aproximador universal de funções  Uma única camada é suficiente para aproximar qualquer superficie contida num hipercubo

8

9  Base de dados PAKDD: ◦ 40700amostras  Processamento para procura de inconsistências: ◦ 23 instancias repetidas removidas  PAKDD: ◦ 39977 amostras de C1 ◦ 700 amostras de C2 40700 40677

10  Divisão dos dados ◦ 39977 amostras de C1 ◦ 700 amostras de C2 40677 700 39977

11  Divisão dos dados ◦ 39977 amostras de C1 ◦ 700 amostras de C2  Treinamento com validação cruzada ◦ 50% treinamento ◦ 25% validação ◦ 25% teste  Conjuntos de dados são normalizados ◦ Replicar dados do conjunto menor ◦ Selecionar dados do conjunto maior  Randomização 700 39977 350 175 19989 9994 C2C1

12

13  Primeira fase ParâmetroValores testados Número máximo de iterações de treinamento (épocas) 50, 250 e 1250 Quantidade máxima de erros na validação 20 Algoritmo de aprendizagem Back Propagation e Levenberg-Marquardt Algoritmo de treinamento ‘learngdm’ Função de ativação das camadas intermediária e de saída Sigmóide Logística e Tangente Hiperbólica Taxa de aprendizagem 0.01, 0.001 e 0.0001 Quantidade de neurônios na camada escondida 1, 6 e 36

14  Primeira fase (REPLICADA) ◦ 90 redes testadas ◦ Script MATLAB calculou, gerou gráficos de desempenho e curvas ROC automaticamente. ◦ Dados guardados em arquivos txt e bmp ◦ Configurações comparadas com auxílio do excel

15  Segunda fase (REDUZIDA) ◦ As 5 redes com menor MSE de teste da primeira fase  Terceira fase (REPETIÇÃO) ◦ Selecionadas duas redes:  Menor MSE de teste  Maior AUC da curva ROC

16  Resultados primeira fase: ◦ 32 configurações com MSE teste < 0.22  Resultados segunda fase: ◦ Das 5 configurações apenas uma apresentou MSE de teste maior do que na primeira fase  Resultados terceira fase: ◦ BTA x BNME = Rede instável ◦ Aleatorização inicial dos pesos com alta influência

17  Primeira Fase Configuração Número de iterações de treinamento 50 Taxa de aprensizagem0.001 Nós da camada intermediaria6 Função de ativaçãoSigmóide Logística Algoritmo de aprendizagemGradient descent backpropagation Resultados MSE Treinamento0.16142 MSE Validação0.26122 MSE Teste0.02630 Taxa de erro % (TESTE)1.72075 Área sob a curva0.495 Matriz de Confusão Resposta desejada Resposta da rede C1C2 C10.001.00 C20.001.00

18  Segunda fase: Configuração Número de iterações de treinamento 50 Taxa de aprensizagem0.001 Nós da camada intermediaria6 Função de ativaçãoSigmóide Logística Algoritmo de aprendizagemGradient descent backpropagation Resultados MSE Treinamento0.44149 MSE Validação0.44455 MSE Teste0.39563 Taxa de erro % (TESTE)36.5129 Área sob a curva0.522 Matriz de Confusão Resposta desejada Resposta da rede C1C2 C10.310.69 C20.360.64

19  Tegunda fase: Taxa de Erro(%)MSE de TesteÁrea sob a Curva ROC 130.14150.115210.5 258.643070.486540.55 31.720750.112320.558 420.4350.098430.523 54.317040.279770.544 618.349890.221730.532 728.380370.358490.566 817.366510.235640.51 927.318320.230980.663 1033.23210.147910.6 Media23.9904550.22870.5546 Desvio Padrão15.25027880.11660.04535 Máximo58.643070.486540.663 Mínimo1.720750.098430.5

20  Primeira fase: Configuração Número de iterações de treinamento 1250 Taxa de aprensizagem0.001 Nós da camada intermediaria6 Função de ativaçãoSigmóide Logística Algoritmo de aprendizagemLevenberg- Marquardt Resultados MSE Treinamento0.13392 MSE Validação0.36347 MSE Teste0.16030 Taxa de erro % (TESTE)14.05113 Área sob a curva0.696 Matriz de Confusão Resposta desejada Resposta da rede C1C2 C10.350.65 C20.130.87

21  Segunda fase Resultados MSE Treinamento0.37513 MSE Validação0.37741 MSE Teste0.13487 Taxa de erro % (TESTE)1.72075 Área sob a curva0.657 Matriz de Confusão Resposta desejada Resposta da rede C1C2 C10.001.00 C20.001.00 Configuração Número de iterações de treinamento 1250 Taxa de aprensizagem0.001 Nós da camada intermediaria6 Função de ativaçãoSigmóide Logística Algoritmo de aprendizagemLevenberg- Marquardt

22  Terceira fase Taxa de Erro(%)MSE de TesteÁrea sob a Curva ROC 112.34240.152210.602 213.24520.222120.65 35.18710.153120.658 410.23420.130420.623 57.12340.093120.644 610.49410.099210.532 72.014540.112340.676 815.67830.079920.508 97.1240.123320.663 103.04560.142210.6 Media8.6488840.151120.6156 Desvio Padrão4.267863080.03850900.0536 Máximo15.67830.222120.676 Mínimo2.014540.079920.508

23

24