일반적인 역전파 알고리즘의 여러 가지 문제점들을 개선하기 위하여 활성화 함수의 이득을 퍼지 로직 시스템을 이용하여 자동 조절하는 방식을 제안하였다. 퍼지 로직 시스템을 구성하기 위하여 먼저 활성화 함수의 이득의 변화가 학습율, 연결강도 바이어스 등의 변화와 등가인 관계를 조사하였다 퍼지 로직 시스템의 입력은 마지막층에 대한 오차의 감도와 은닉층에 대한 오차의 평균 감도를 사용하였고, 출력은 활성화 함수의 이득을 사용하였다. 제안한 방식과 일반적인 역전파 알고리즘을 패리티 문제, 함수 근사화 문제 및 패턴 인식 문제등에 대하여 시뮬레이션하여 비교 검토한 결과 수렴비, 평균 학습 반복수, 정말도 및 새로운 입력 에 대한 원하는 오차 범위의 출력을 얻는 등의 성능이 개선됨을 알았다.
In order to improve the several problems of the general backpropagation, we propose a method using a fuzzy logic system for automatic tuning of the activation function gain in the backpropagation. First, we researched that the changing of the gain of sigmoid function is equivalent to changing the learning rate, the weights, and the biases. The inputs of the fuzzy logic system were the sensitivity of error respect to the last layer and the mean sensitivity of error respect to the hidden layer, and the output was the gain of the sigmoid function. In order to verify the effectiveness of the proposed method, we performed simulations on the parity problem, function approximation, and pattern recognition. The results show that the proposed method has considerably improved the performance compared to the general backpropagation.
