수화는 언어적 구조와 규칙을 가지며 손의 움직임, 모양 정보로 구별되며, 지화는 다양한 형태의 문자를 나타내며 손의 행태 정보로 구별된다. 수화언어 인식은 수화 문장에서 의미 있는 수화, 지화, 그리고 그 이외의 손 동작 및 손 모양을 검출 및 인식하는 것이다. 수화와 지화의 구조는 상당히 다르기 때문에, 수화와 지화를 동시에 인식 및 검출하는 것은 어려운 문제이다. 본 논문에서는 3단계의 계층적 구조로 구성된 수화 및 지화 검출 방법을 제안한다. 첫 번째 단계에서는 2계층 CRF(Conditional Random Field)를 이용하여 수화, 지화, 그리고 그 이외의 손 동작을 구별한다. 두 번째 단계에서는 BoostMap 임베딩을 이용하여 수화 및 지화의 손 모양을 인식한다. 마지막 단계에서는 CRF를 이용하여 손 모양은 비슷하지만 움직임이 다른 지화를 구별한다. 제안된 방법은 청각장애인이 수행한 수화 분장에서 83%의 수확인식률과 78%의 지화 인식률을 보였다.
Signs are dynamic gestures discriminated by continuous hand motions and hand configurations, while fingerspellings are combinations of continuous hand configurations. Sign language spotting is the task of detection and recognition of signs and fingerspellings in a signed utterance. The internal structures of signs and fingerspellings differ significantly. Therefore, it is difficult to spot signs and fingerspellings simultaneously. In this paper, a novel method for spotting signs and fingerspellings is proposed. It can distinguish signs, fingerspellings and non-sign patterns. This is achieved through a hierarchical framework consisting of three steps: (1) Candidate segments of signs and fingerspellings are discriminated using a two-layer Conditional Random Field (CRF). (2) Hand shapes of segmented signs and fingerspellings are verified using BoostMap embeddings. (3) The motions of fingerspellings are verified in order to distinguish those which have similar hand shapes and different hand motions. Experiments demonstrate that the proposed method can spot signs and fingerspellings from utterance data at rates of 83% and 78%, respectively.
