Carregar apresentação
A apresentação está carregando. Por favor, espere
1
Department of Computer Science, University of Waikato, New Zealand Eibe Frank WEKA: Ferramenta para Aprendizado de Máquina O Explorer Classificação e Regressão Clustering Regras de Associação Seleção de Atributos Visualização de Dados O Experimenter O GUI do Knowledge Flow Conclusões Aprendizado de Máquina com WEKA
2
10/14/2015University of Waikato2 WEKA: o pássaro Copyright: Martin Kramer (mkramer@wxs.nl)
3
10/14/2015University of Waikato3 WEKA: o software Software de Aprendizado de Máquina/Data Mining escrito em Java (distribuído sob a GNU Public License) Usado para pesquisa, educação e aplicações Complementa o livro “Data Mining” de Witten & Frank Principais características: Conjunto abrangente de ferramentas para pré- processamento de dados, algoritmos de aprendizado e métodos de avaliação Interfaces gráficas (inclusive visualização de dados) Ambiente para comparar algoritmos de aprendizado
4
10/14/2015University of Waikato4 WEKA: versões Há várias versões do WEKA: WEKA 3.0: “versão livro” compatível com o texto da primeira edição do livro sobre Mineração de Dados WEKA 3.2: “versão GUI” acrescentou a interface gráfica WEKA 3.4: “versão de desenvolvimento”, versão atual com várias inovações Estas transparências são baseadas na versão WEKA 3.3
5
10/14/2015University of Waikato5 @relation heart-disease-simplified @attribute age numeric @attribute sex { female, male} @attribute chest_pain_type { typ_angina, asympt, non_anginal, atyp_angina} @attribute cholesterol numeric @attribute exercise_induced_angina { no, yes} @attribute class { present, not_present} @data 63,male,typ_angina,233,no,not_present 67,male,asympt,286,yes,present 67,male,asympt,229,yes,present 38,female,non_anginal,?,no,not_present... WEKA aceita apenas “flat” files (arquivos “planos”)
6
10/14/2015University of Waikato6 @relation heart-disease-simplified @attribute age numeric @attribute sex { female, male} @attribute chest_pain_type { typ_angina, asympt, non_anginal, atyp_angina} @attribute cholesterol numeric @attribute exercise_induced_angina { no, yes} @attribute class { present, not_present} @data 63,male,typ_angina,233,no,not_present 67,male,asympt,286,yes,present 67,male,asympt,229,yes,present 38,female,non_anginal,?,no,not_present... WEKA aceita apenas “flat” files
7
10/14/2015University of Waikato7
8
10/14/2015University of Waikato8
9
10/14/2015University of Waikato9
10
10/14/2015University of Waikato10 Explorer: pré-processamento de dados Dados podem ser importados de um arquivo em vários formatos: ARFF, CSV, C4.5, binário Dados também podem ser lidos de um URL ou de uma base de dados SQL (usando JDBC) Ferramentas de pré-processamento no WEKA são chamadas de “filtros” WEKA contém filtros para: Discretização, normalização, amostragem, seleção de atributo, transformação e combinação de atributos, …
11
10/14/2015University of Waikato11
12
10/14/2015University of Waikato12
13
10/14/2015University of Waikato13
14
10/14/2015University of Waikato14
15
10/14/2015University of Waikato15
16
10/14/2015University of Waikato16
17
10/14/2015University of Waikato17
18
10/14/2015University of Waikato18
19
10/14/2015University of Waikato19
20
10/14/2015University of Waikato20
21
10/14/2015University of Waikato21
22
10/14/2015University of Waikato22
23
10/14/2015University of Waikato23
24
10/14/2015University of Waikato24
25
10/14/2015University of Waikato25
26
10/14/2015University of Waikato26
27
10/14/2015University of Waikato27
28
10/14/2015University of Waikato28
29
10/14/2015University of Waikato29
30
10/14/2015University of Waikato30
31
10/14/2015University of Waikato31
32
10/14/2015University of Waikato32 Explorer: criando “classificadores” Classificadores no WEKA são modelos para predizer quantidades nominais ou numéricas Esquemas de aprendizado implementado incluem: Árvores de decisão e listas, classificadores baseados em instâncias, support vector machines, perceptrons multicamadas, regressão logística, redes de Bayes, … “Meta”-classificadores incluem: Bagging, boosting, stacking, error-correcting output codes, locally weighted learning, …
33
10/14/2015University of Waikato33
34
10/14/2015University of Waikato34
35
10/14/2015University of Waikato35
36
10/14/2015University of Waikato36
37
10/14/2015University of Waikato37
38
10/14/2015University of Waikato38
39
10/14/2015University of Waikato39
40
10/14/2015University of Waikato40
41
10/14/2015University of Waikato41
42
10/14/2015University of Waikato42
43
10/14/2015University of Waikato43
44
10/14/2015University of Waikato44
45
10/14/2015University of Waikato45
46
10/14/2015University of Waikato46
47
10/14/2015University of Waikato47
48
10/14/2015University of Waikato48
49
10/14/2015University of Waikato49
50
10/14/2015University of Waikato50
51
10/14/2015University of Waikato51
52
10/14/2015University of Waikato52
53
10/14/2015University of Waikato53
54
10/14/2015University of Waikato54
55
10/14/2015University of Waikato55
56
10/14/2015University of Waikato56
57
10/14/2015University of Waikato57
58
10/14/2015University of Waikato58
59
10/14/2015University of Waikato59
60
10/14/2015University of Waikato60
61
10/14/2015University of Waikato61
62
10/14/2015University of Waikato62
63
10/14/2015University of Waikato63
64
10/14/2015University of Waikato64
65
10/14/2015University of Waikato65
66
10/14/2015University of Waikato66
67
10/14/2015University of Waikato67
68
10/14/2015University of Waikato68
69
10/14/2015University of Waikato69
70
10/14/2015University of Waikato70
71
10/14/2015University of Waikato71
72
10/14/2015University of Waikato72
73
10/14/2015University of Waikato73
74
10/14/2015University of Waikato74
75
10/14/2015University of Waikato75
76
10/14/2015University of Waikato76
77
10/14/2015University of Waikato77
78
10/14/2015University of Waikato78
79
10/14/2015University of Waikato79
80
10/14/2015University of Waikato80
81
10/14/2015University of Waikato81
82
10/14/2015University of Waikato82
83
10/14/2015University of Waikato83
84
10/14/2015University of Waikato84
85
10/14/2015University of Waikato85
86
10/14/2015University of Waikato86
87
10/14/2015University of Waikato87
88
10/14/2015University of Waikato88
89
10/14/2015University of Waikato89
90
10/14/2015University of Waikato90
91
10/14/2015University of Waikato91
92
10/14/2015University of Waikato92 Explorer: agrupando dados WEKA contém “clusterers” para encontrar grupos de instâncias similares num conjunto de dados Os métodos implementados são: k-Means, EM, Cobweb, X-means, FarthestFirst Clusters podem ser visualizados e comparados com “true” clusters (se forem dados) Avaliação baseada em loglikelihood se o método de clustering produzir uma distribuição de probabilidade
93
10/14/2015University of Waikato93
94
10/14/2015University of Waikato94
95
10/14/2015University of Waikato95
96
10/14/2015University of Waikato96
97
10/14/2015University of Waikato97
98
10/14/2015University of Waikato98
99
10/14/2015University of Waikato99
100
10/14/2015University of Waikato100
101
10/14/2015University of Waikato101
102
10/14/2015University of Waikato102
103
10/14/2015University of Waikato103
104
10/14/2015University of Waikato104
105
10/14/2015University of Waikato105
106
10/14/2015University of Waikato106
107
10/14/2015University of Waikato107
108
10/14/2015University of Waikato108 Explorer: encontrando associações WEKA contém uma implementação do algoritmo Apriori para aprender regras de associação Funciona somente com dados discretos Pode identificar dependências estatísticas entre grupos de atributos: milk (leite), butter (manteiga) bread (pão), eggs (ovos) (com confidence (confiança) 0.9 e support (cobertura) 2000) Apriori pode encontrar todas as regras que atingem uma cobertura mínima dada e ultrapassa uma dada confiança
109
10/14/2015University of Waikato109
110
10/14/2015University of Waikato110
111
10/14/2015University of Waikato111
112
10/14/2015University of Waikato112
113
10/14/2015University of Waikato113
114
10/14/2015University of Waikato114
115
10/14/2015University of Waikato115
116
10/14/2015University of Waikato116 Explorer: seleção de atributo Painel que pode ser usado para investigar quais (subconjuntos de) atributos são os mais previsíveis Métodos de seleção de atributos contêm duas partes: Um método de busca: best-first, forward selection, aleatória, exaustiva, algoritmo genético, ranking Um método de avaliação: baseado em correlação, wrapper, ganho de informação, chi-quadrado, … Bastante flexível: WEKA permite combinações (quase) arbitrárias destes dois métodos
117
10/14/2015University of Waikato117
118
10/14/2015University of Waikato118
119
10/14/2015University of Waikato119
120
10/14/2015University of Waikato120
121
10/14/2015University of Waikato121
122
10/14/2015University of Waikato122
123
10/14/2015University of Waikato123
124
10/14/2015University of Waikato124
125
10/14/2015University of Waikato125 Explorer: visualização de dados A visualização é muito útil na prática: ex. Ajuda a determinar a dificuldade do problema do aprendizado O WEKA pode visualizar atributos simples (1-d) e pares de atributos (2-d) To do (a ser implementado): visualização de rotação 3-d (Xgobi-style) Valores das classes codificados em cores Opção de “Jitter” para tratar com atributos nominais (e para detectar pontos de dados “escondidos”) Função “Zoom-in”
126
10/14/2015University of Waikato126
127
10/14/2015University of Waikato127
128
10/14/2015University of Waikato128
129
10/14/2015University of Waikato129
130
10/14/2015University of Waikato130
131
10/14/2015University of Waikato131
132
10/14/2015University of Waikato132
133
10/14/2015University of Waikato133
134
10/14/2015University of Waikato134
135
10/14/2015University of Waikato135
136
10/14/2015University of Waikato136
137
10/14/2015University of Waikato137
138
10/14/2015University of Waikato138 Fazendo experimentos O Experimenter torna mais fácil comparar o desempenho de diferentes métodos de aprendizado Para problemas de classificação e regressão Resultados podem ser escritos em arquivo ou base de dados Opções de avaliação: cross-validation, learning curve, hold-out Pode também fazer iteração sobre ajustes de diferentes parâmetros Significance-testing incorporado!
139
10/14/2015University of Waikato139
140
10/14/2015University of Waikato140
141
10/14/2015University of Waikato141
142
10/14/2015University of Waikato142
143
10/14/2015University of Waikato143
144
10/14/2015University of Waikato144
145
10/14/2015University of Waikato145
146
10/14/2015University of Waikato146
147
10/14/2015University of Waikato147
148
10/14/2015University of Waikato148
149
10/14/2015University of Waikato149
150
10/14/2015University of Waikato150
151
10/14/2015University of Waikato151
152
10/14/2015University of Waikato152 O Knowledge Flow GUI Nova interface gráfica do WEKA Interface baseada no Java-Beans para ajustar e rodar experimentos com aprendizado de máquina Fontes de dados, classificadores etc. são beans (entradas) e podem ser conectadas graficamente Fluxos de dados pelos componentes: ex., “fonte de dado” -> “filtro” -> “classificador” -> “avaliador” Layouts podem ser salvos e carregados mais tarde
153
10/14/2015University of Waikato153
154
10/14/2015University of Waikato154
155
10/14/2015University of Waikato155
156
10/14/2015University of Waikato156
157
10/14/2015University of Waikato157
158
10/14/2015University of Waikato158
159
10/14/2015University of Waikato159
160
10/14/2015University of Waikato160
161
10/14/2015University of Waikato161
162
10/14/2015University of Waikato162
163
10/14/2015University of Waikato163
164
10/14/2015University of Waikato164
165
10/14/2015University of Waikato165
166
10/14/2015University of Waikato166
167
10/14/2015University of Waikato167
168
10/14/2015University of Waikato168
169
10/14/2015University of Waikato169
170
10/14/2015University of Waikato170
171
10/14/2015University of Waikato171
172
10/14/2015University of Waikato172
173
10/14/2015University of Waikato173 Conclusão: tente você mesmo! WEKA está disponível em http://www.cs.waikato.ac.nz/ml/weka Há também uma lista de projetos baseados no WEKA Colaboradores do WEKA : Abdelaziz Mahoui, Alexander K. Seewald, Ashraf M. Kibriya, Bernhard Pfahringer, Brent Martin, Peter Flach, Eibe Frank,Gabi Schmidberger,Ian H. Witten, J. Lindgren, Janice Boughton, Jason Wells, Len Trigg, Lucio de Souza Coelho, Malcolm Ware, Mark Hall,Remco Bouckaert, Richard Kirkby, Shane Butler, Shane Legg, Stuart Inglis, Sylvain Roy, Tony Voyle, Xin Xu, Yong Wang, Zhihai Wang
Apresentações semelhantes
