- 비선형 변환에 의한 중간층 뉴런 상관계수 감소
- ㆍ 저자명
- 오상훈
- ㆍ 간행물명
- 한국콘텐츠학회논문지
- ㆍ 권/호정보
- 2003년|3권 3호|pp.98-102 (5 pages)
- ㆍ 발행정보
- 한국콘텐츠학회
- ㆍ 파일정보
- 정기간행물| PDF텍스트
- ㆍ 주제분야
- 기타
이 논문은 한국과학기술정보연구원과 논문 연계를 통해 무료로 제공되는 원문입니다.
다층퍼셉트론의 중간층 뉴런이 지닌 역할을 정보처리의 관점에서 밝혀내기 위해서, 이 논문에서는 중간층 뉴런의 가중치 합들 간의 상관계수가 비선형 변환에 의해 감소하게 됨을 증명하였다. 고립단어 인식을 다층퍼셉트론에 학습시킨 경우의 시뮬레이션으로 이러한 증명이 맞음도 보였다. 이 결과로부터 중간층 뉴런이 지닌 비선형 변환은 정보의 중복을 감소시키는 효과가 있음을 알 수 있다.
For elucidating the key role of hidden neurons in information processing of Multilayer perceptrons(MLPs), we prove that the correlation coefficient between weighted sums to hidden neurons decreases under element-wise nonlinear transformations. This is verified through training of MLPs for an isolated word recognition problem. From this result, we can say that the element-wise nonlinear functions reduces redundancy in the information contents of hidden neurons.