Algoritmo de Khachiyan Prof. Júlio Cesar Nievola
Algoritmo de Khachiyan Os algoritmos de programação linear tem a característica desejável de crescerem polinomialmente com a precisão das entradas, podendo ser usados para determinar os pesos para um conjunto de exemplos de treinamento linearmente separáveis, garantindo um limite polinomial no tempo de aprendizagem. Q Q denota o produto externo de Q, dado por (Q Q) i,j = Q i Q j. O algoritmo de Khachiyan tem melhor tempo de aprendizagem médio e melhor tempo de aprendizagem no pior caso para problemas separáveis que o algoritmo do perceptron. Para o caso em que as ativações estão em {+1, -1} verificou-se também uma melhora no limite superior do número máximo de iterações.
Algoritmo de Khachiyan x1. Igualar W ao vetor nulo. x2. Fazer H ser a matriz identidade (p + 1) x (p + 1). x3. Realizar no máximo um número de iterações igual a x(p + 1) 3 ln(p + 1) + (p + 1) 2 ln( (p + 1)) iterações: 3a. Se todos os exemplos de treinamento estão corretamente classificados, isto é, todo exemplo de treinamento E k tendo saída correta C k satisfaz {W.E k > 0 e C k = +1} ou {W.E k < 0 e C k = -1} então os exemplos de treinamento são separáveis; neste caso fornecer W e sair. Caso contrário fazer E k ser um exemplo de treinamento que não é corretamente classificado. 3b. Calcular o vetor Q = HE k.
Algoritmo de Khachiyan (cont.)