본 논문은 신경망에서 불필요한 연결자(weights and biases)를 제거하기 위한 일반적인 back-propagation 알고리즘의 간단한 변형을 소개한다. 이는 연결자들의 절대치 크기의 분포, 분할 경계선의 분석 및 sigmoid 함수의 비선형성에 기초하여 개발되었다. 신경망의 초기 학습 후, 이 알고리즘은 그 절대치의 크기가 임계치 (threshold) 보다 적은 모든 연결자들의 값을 영으로 할당 함으로서 이들을 제거하게 된다. 그런후, 중요한 연결자들의 복구를 위해 모든 연결자들을 포함하여 반복 학습을 실시한다. 이진함수 들을 이용한 학습에서, 이 알고리즘은 이론적 최소 구조를 실현하 였고, 함수를 푸는데 불필요한 연결자들을 제거하였다. 모의 랜덤 신호 분류에 응용에 있어서, 본 알고리즘으로 부터 얻어낸 결과는 쉬운 문제가 간단한 신경망을 필요로 하며 낮은 오분류율을 발생한다는 일반적인 개념과 일치 하였다. 또한, 본 제안된 알고리즘 은 overfitting과 형태소 (patterm) 암기의 문제점들을 줄임으로서 기존의 알고리즘보 다 더 좋은 결과를 보여주었다.
A simple modification of the standard back-propagation algorithm to eliminate redundant connections(weights and biases) is described. It was motivated by speculations from the distribution of the magnitudes of the weights and the biases, analysis of the classification boundary, and the nonlinearity of the sigmoid function. After initial training, this algorithm eliminates all connections of which magnitude is below a threshold by setting them to zero. The algorithm then conducts retraining in which all weights and biases are adjusted to allow important ones to recover. In studies with Boolean functions, the algorithm reconstructed the theoretical minimum architecture and eliminated the connections which are not necessary to solve the functions. For simulated random signal classification problems, the algorithm produced the result which is consistent with the idea that easier problems require simpler networks and yield lower misclassification rates. Furthermore, in comparison, our algorithm produced better generalization than the standard algorithm by reducing over fitting and pattern memorization problems.
