본 논문에서는 얼굴의 다중 특징을 이용하여 마우스의 다양한 동작을 효율적으로 구현할 수 있는 복지형 인터페이스를 제안한다. 제안된 시스템은 5개의 모듈로 구성 된다 : 얼굴의 검출(Face detection), 눈의 검출(eye detection), 입의 검출(mouth detection), 얼굴특징 추적(lariat feature tracking), 마우스의 제어(mouse control). 첫 단계에서는 피부색 모델과 연결 성분 분석을 이용하여 얼굴 영역을 검출한다. 그 후 얼굴영역으로부터 정확히 눈을 검출하기 위하여 신경망 기반의 텍스처 분류기를 사용하여 얼굴 영역에서 눈 영역과 비 눈 영역을 구분한다. 일단 눈 영역이 검출되면 눈의 위치에 기반 하여 에지 검출기(edge detector)를 이용하여 입 영역을 찾는다. 눈 영역과 입 영역을 찾으면 각각 mean shift 알고리즘과 template matching을 사용하여 정확하게 추적되고, 그 결과에 기반 하여 마우스의 움직임 또는 클릭의 기능이 수행된다. 제안된 시스템의 효율성을 검증하기 위하여 제안된 인터페이스 시스템을 다양한 응용분야에 적용 하였다. 장애인과 비장애인으로 나누어 제안된 시스템을 실험한 결과 모두에게 실시간으로 보다 편리하고 친숙한 인터페이스로 활용 될 수 있다는 것이 증명 되었다.
We propose a welfare interface using multiple fecial features tracking, which can efficiently implement various mouse operations. The proposed system consist of five modules: face detection, eye detection, mouth detection, facial feature tracking, and mouse control. The facial region is first obtained using skin-color model and connected-component analysis(CCs). Thereafter the eye regions are localized using neutral network(NN)-based texture classifier that discriminates the facial region into eye class and non-eye class, and then mouth region is localized using edge detector. Once eye and mouth regions are localized they are continuously and correctly tracking by mean-shift algorithm and template matching, respectively. Based on the tracking results, mouse operations such as movement or click are implemented. To assess the validity of the proposed system, it was applied to the interface system for web browser and was tested on a group of 25 users. The results show that our system have the accuracy of 99% and process more than 21 frame/sec on PC for the $320{ imes}240$ size input image, as such it can supply a user-friendly and convenient access to a computer in real-time operation.
