본 논문은 IBM ViaVoice와 마이크로소프트 필기-인식 시스템(handwriting-recognition system)과 같은 인식 엔진(recognition engines)을 UMPC와 같은 펜-입력 디스플레이에서 작동하는 일반적인 윈도우 어플리케이션과 연동하기 위한 단일화된 멀티모달 입력 프레임워크(unified multi-modal input framework)를 제안한다. 사용자가 펜-입력 디스플레이에 부탁되어있는 버튼을 한 손으로 누르면, 인터넷 검색 윈도우나 워드 프로세서와 같이 현재 포커스를 갖는 윈도우는 전체 데스크탑을 덮을 수 있는 투명한 윈도우로 덮여진다. 이 위에 사용자는 다른 한 손으로, 현재 working context를 놓치지 않으면서, 필기 입력을 자유롭게 수행할 수 있다. 이런 투명 입력 윈도우를 이용하여 필기 및 음성 입력뿐만 아닐라 다이어그램까지 그릴 수 있게 해준다.
This paper proposes a unified multi-modal input framework to interface the recognition engines such as IBM ViaVoice and Microsoft handwriting-recognition system with general window applications, particularly, for pen-input displays. As soon as user pushes a hardware button attached to the pin-input display with one hand, the current window of focus such as a internet search window and a word processor is overlaid with a transparent window covering the whole desktop; upon which user inputs handwriting with the other hand, without losing the focus of attention on working context. As well as freeform handwriting on this transparent input overlay as a sketch pad, the user can dictate some words and draw diagrams to communicate with the system.
