본 논문에서는 CosGauss라고 하는 코사인함수로 모듈화 된 가우시안 활성화함수가 뉴로 네트워크에서 다항식과 계단함수의 근사에 사용될 수 있음을 증명한다. CosGauss 함수는 시그모이드, 하이퍼볼릭 탄젠트, 가우시안 활성화 함수보다 더 많은 범프(bump)를 구성 할 수 있다. 이 함수를 캐스케이드 코릴레이션 뉴로 네트워크 학습에 사용하여 벤치마크 문제인 Tic-Tac-Toe 게임과 아이리스(iris) 식물 문제와 실험하고 여기에서 얻어진 결과를 다른 활성화 함수를 사용한 결과와 비교 분석한다.
We present here a new class of activation functions for neural networks, which herein will be called CosGauss function. This function is a cosine-modulated gaussian function. In contrast to the sigmoidal-, hyperbolic tangent- and gaussian activation functions, more ridges can be obtained by the CosGauss function. It will be proven that this function can be used to aproximate polynomials and step functions. The CosGauss function was tested with a Cascade-Correlation-Network of the multilayer structure on the Tic-Tac-Toe game and iris plants problems, and results are compared with those obtained with other activation functions.
