본 논문에서는 키넥트 센서로부터 획득된 관절 정보를 이용하여 팔 제스처를 인식하는 방법을 나타내고, 이를 슈팅 게임에 적용한다. 이를 위해 제안된 2-계층 모델에서 계층1은 제스처와 비제스처 패턴을 HMM(Hidden Markov Model)으로 모델링하고 HMM 기반의 적응적 임계치 모델을 통해 제스처/비제스처 구분 및 제스처의 시작과 끌 지점을 검출한다. 계층2는 계층1에서 제공하는 제스처 적응 정보에 대해 CRF(Conditional Random Field)모델 기반으로 제스처 인식을 수행한다. 특히 제스처 인식의 성능 향상을 위해 CRF 모델의 누적된 시퀀스 기반 확률 값에 다수 투표 기법을 적용함으로써, 잘못된 적출 정보나 제스처 변형에서 발생하는 인식 오류를 줄이고 인식 성능을 향상하였다. 제안하는 방법의 성능을 평가하기 위해, 실제 슈팅 게임에서 시용되는 기능에 대한 팔 제스처를 정의하고, 키넥트 센서를 이용하여 데이터셋을 수집하였다. 실험 결과, 제안하는 방법은 연속된 팔 제스처 데이터에서 97.54%의 적출률 및 사전에 적출된 팔 제스처 데이터에서 100%의 높은 인식률을 보였다. 또한, 기존의 HMM 및 CRF 모델과 제안하는 모델의 인식 성능을 비교함으로써, 제안하는 방법의 우수함을 입증하였다.
This paper proposes a 2-layer gesture spotting and recognition model using data obtained from a kinect sensor and applies the model to the shooting game application. The layer1 models the gesture and non-gesture patterns using HMM and detects the start and end points of gesture using an adaptive threshold model based on HMM. Given a gesture segment from the layer1, the layer2 recognizes the gesture using CRF model. In particular, we propose the majority voting method for probabilities of accumulative sequences to reduce the errors and improve the recognition performance. To evaluate the performance of the proposed method, we define the arm gestures used in shooting game application and collect the dataset from a kinect sensor. The proposed method obtains the 97.54% spotting reliability and 100% recognition rate. We also compare the recognition rate between proposed model and HMM/CRF model to show the effectiveness of the proposed method.
