데이터를 잘 표현하는 자질(feature)들을 실시간으로 구축하는 일은 최근 기계 학습에서 활발히 연구되는 핵심적인 문제이다. 하지만, 범주화된 데이터를 표현하는 자질들에 대한 연구는 제한적으로 이루어졌다. 본 논문에서는 범주화된 데이터를 다룰 수 있는 실시간 "조합 자질 구축" 방법을 소개한다. 이 방법은 데이터를 잘 표현하는 조합 자질의 후보들을 데이터의 특성에 맞게 뽑아내는 것과 이들 중 불필요한 자질들을 제거하는 것을 반복하는 일을 핵심으로 한다. 본 논문에서는 제안된 자질 구축 방법을 특별히 최대 엔트로피 분류기에 적용하여 우수한 분류 성능을 이끌어내는 데에 사용하였다. 위 제안된 방법의 우수성을 검증하기 위하여 자연어 처리 문제와 음악 학습 문제를 다루었다. 실험 결과는 데이터를 잘 표현하는 자질들을 뽑아내는 것이 데이터를 설명하는 데에 중요할 뿐 아니라, 실시간 조합 자질 구축 방법이 자질들을 구축하는 좋은 방법임을 보여준다.
Extracting useful features with online incremental manner is one of recent important issues in machine learning fields. However, extracting features for categorical data are rarely researched. We study online incremental associative feature construction method, which can treat categorical data. This method repeats two processes as follows; one is extracting features according to probabilistic distribution of input data. The other is learning the weight of features and removing useless features. We apply our method to natural language process and music prediction problem to verify our proposed method is useful. Experimental results show that our proposed methods performed well for both tasks, and illustrate that extracting useful features is important.
