Araken de Medeiros Santos UMA INVESTIGAÇÃO DO MODELO DE REDE NEURAL RePART EM TAREFAS DE RECONHECIMENTOS DE PADRÕES Araken de Medeiros Santos Anne Magály de P. Canuto Orientadora

ROTEIRO Trabalhos Anteriores Motivação Objetivos Modelos Neurais Análise Comparativa e Estatística Considerações Finais Trabalhos futuros

TRABALHOS ANTERIORES Análise comparativa do desempenho do RePART com o Fuzzy ARTMAP, ARTMAP-IC e Fuzzy MLP Caracteres numéricos

MOTIVAÇÃO Qual o comportamento do RePART em outras tarefas de reconhecimento de padrões?

OBJETIVOS Descobrir vantagens e desvantagens de cada um dos modelos abordados em aplicações de reconhecimento de padrões Dar um embasamento mais amplo à utilização do RePART

ART (Adaptive Resonance Theory) Grau de similaridade Dilema estabilidade-plasticidade RNA incremental Aprendizagem não-supervisionada

ART x Fuzzy ART Mesma estrutura ART => teoria dos conjuntos clássica Fuzzy ART =>teoria dos conjuntos fuzzy

Cálculo dos neurônios F2 ART x Fuzzy ART Cálculo dos neurônios F2 ART => AND booleano (x*y) Fuzzy ART => AND fuzzy [min(x, y)]

ARTMAP/Fuzzy ARTMAP Dois módulos ART ARTa => padrão de entrada ARTb => saída desejada Map Field Aprendizagem supervisionada

ESTRUTURA DO ARTMAP J = (b, 1-b) I = (a, 1-a) a b Wj

PROBLEMAS DO ARTMAP Proliferação de categoria Má classificação (1 vencedor) Sensibilidade a ruídos

ARTMAP-IC Mesmo processo de aprendizagem Melhorias na fase de reconhecimento Suavizar o problema de má classifica- ção

ARTMAP-IC Codificação distribuída (grupo de vencedores) Parâmetro contador de instância

RePART Suavizar os problemas de proliferação de categoria e má classificação Codificação distribuída (grupo de vencedores + grupo de perdedores) Parâmetro contador de instância

RePART Mecanismos Adicionais: Vigilância variável individual (proliferação de categorias) Recompensa/Punição (má classificação)

Vigilância Variável Dilema bias/variância Individual Freqüência relativa de ativação (RFA) Inversa da média relativa de ativação (RIAA)

Vigilância Variável

RECOMPENSA/PUNIÇÃO Vencedores => recompensa Perdedores => punição Má classificação

RECOMPENSA/PUNIÇÃO

APRENDIZAGEM Semelhante ao FA e AIC Diferença básica => cálculo das vigilâncias de todos os neurônios

RECONHECIMENTO Neurônios F2 de ARTa Ranking dos neurônios Divisão em vencedores e perdedores Neurônios Map Field => duas fases

NEURÔNIOS MAP FIELD

EXPERIMENTOS Análise Intraclasse 5 bases de dados Validação cruzada com 30 grupos

ANÁLISE COMPARATIVA Taxa de reconhecimento Complexidade da rede Variação no número de vencedores Modificação nas freqüências

IMAGE DATASET Instâncias geradas randomicamente de 7 imagens de outdoor 7 classes 19 atributos 330 padrões por classe

IMAGE DATASET 15% Menor nº de vencedores 1,5% Maior nº de vencedores

IMAGE DATASET FA e AIC => 147 neurônios RePART => 74 neurônios 49,6% menos

CARACTERES ALFANUMÉRICOS Instâncias de 384 bits (16x24) 330 padrões por classe

CARACTERES ALFANUMÉRICOS 12% Influência da modificação na freqüência 4,58%

CARACTERES ALFANUMÉRICOS FA e AIC => 490 neurônios RePART => 340 neurônios 30,61% menos

CANCER DE MAMA(Breast-cancer) 2 classes 32 atributos 240 padrões por classe

CANCER DE MAMA(Breast-cancer) Modificação na freqüência não alterou resultados

CANCER DE MAMA(Breast-cancer) FA e AIC => 234 neurônios RePART => 145 neurônios 38% menos

CANCER DE MAMA(WDBC) 2 classes 10 atributos 210 padrões por classe

CANCER DE MAMA(WDBC) 5,5% 1,87% Modificação na freqüência não alterou resultados 1,87%

CANCER DE MAMA(WDBC) FA e AIC => 105 neurônios RePART => 56 neurônios 46,67% menos

BIOLOGIA MOLECULAR Seqüência de DNA 60 atributos 3 classes 750 padrões por classe

BIOLOGIA MOLECULAR Modificação na freqüência alterou resultados Modificação na freqüência não alterou resultados

BIOLOGIA MOLECULAR FA e AIC => 1710 neurônios RePART => 910 neurônios 46,78% menos

ANÁLISE GERAL RePART Taxa de reconhecimento superior Complexidade inferior Número de vencedores Efeitos inversos no ReP e AIC

ANÁLISE ESTATÍSTICA T-Teste de variância combinada Compara duas amostras (conjunto de resultados) para verificar se as diferen- ças são estatísticamente significantes.

ANÁLISE ESTATÍSTICA Erro médio Desvio padrão Número de grupos

ANÁLISE ESTATÍSTICA Validação cruzada com 30 grupos Nível de confiança => 95% (=0,05) Teste unicaudal inferior (X, Y) Indica se a amostra X é significante- mente menor que a amostra Y

ANÁLISE ESTATÍSTICA Busca do RePART e AIC com me- lhores resultados em cada uma das aplicações utilizadas RePART x Fuzzy ARTMAP RePART x ARTMAP-IC

IMAGE DATASET RePART apresentou erro médio estatisicamente inferior ao do Fuzzy ARTMAP e ARTMAP-IC

CARACTERES ALFANUMÉRICOS O Fuzzy ARTMAP teve erro médio inferior, mas não estatisticamente significante

CARACTERES ALFANUMÉRICOS RePART obteve erro médio estatisticamente inferior ao do Fuzzy ARTMAP e ARTMAP-IC

CÂNCER DE MAMA (Breast-cancer) RePART apresentou erro médio estatisticamente seme-lhante ao FA e AIC, contudo pode ser considerado mais eficiente (complexidade inferior e desempenho superior)

CÂNCER DE MAMA (WDBC) Novamente, o RePART apresentou erro médio estatis-ticamente inferior ao FA e AIC

BIOLOGIA MOLECULAR RePART apresentou erro médio inferior ao FA e AIC-3 e semelhante ao AIC-7, logo pode-se observar que a modifi- cação nas freqüências melhorou significantemente o desem-penho do ARTMAP-IC

ANÁLISE GERAL RePART < FA e AIC em 3 bases < AIC e  FA em 1 base  FA e AIC em 1 base + eficiente => complexidade inferior desempenho semelhante

CONSIDERAÇÕES FINAIS RePART Taxa de reconhecimento superior Complexidade inferior Em média 42% menos neurônios

CONSIDERAÇÕES FINAIS RePART Erro médio em geral igual ou inferior ao do FA e AIC do ponto de vista estatístico, nunca superior

CONSIDERAÇÕES FINAIS O RePART alcançou os objetivos que motivaram sua definição: suavizar os problemas presentes nos modelos da família ARTMAP (proliferação de cate- gorias e má classificação)

TRABALHOS FUTUROS Realizar uma análise interclasse para que seja dado um embasamento ainda mais amplo à utilização do RePART.

FIM