본 논문에서는 계층적 KLT 특징 추적기의 하드웨어 구조를 제안한다. 계층적 KLT 특징 추적기(pyramidal Kanade-Lucas-Tomasi feature tracker)는 주로 MPU를 기반으로 구현되어 왔으나 반복연산 과정이 많아 실시간으로 처리하기 어려우므로, 실시간 수행을 위하여 FPGA(Field Programmable Gate Array)를 이용하여 구현하였다. 본 논문에서는 추출되는 특징점의 수를 일정하게 유지하기 위해 입력 영상의 밝기에 적응적으로 임계값을 설정하는 특징점 추출 알고리즘을 제안한다. 또한 계층적 KLT 추적 알고리즘을 메모리의 용량 및 대역폭의 한계를 극복하고, FPGA의 병렬처리 특성에 적합한 구조로 변환한다. 소프트웨어로 실행한 결과와의 비교를 통하여 특징점의 추출 및 추적이 유사한 양상으로 이루어짐을 검증하였고, $720{ imes}480$ 영상 입력에 대해 초당 30 프레임의 full frame rate로 추적이 수행됨을 확인하였다.
This paper presents the hardware implementation of the pyramidal KLT(Kanade-Lucas-Tomasi) feature tracker. Because of its high computational complexity, it is not easy to implement a real-time KLT feature tracker using general-purpose processors. A hardware implementation of the pyramidal KLT feature tracker using FPGA(Field Programmable Gate Array) is described in this paper with emphasis on 1) adaptive adjustment of threshold in feature extraction under diverse lighting conditions, and 2) modification of the tracking algorithm to accomodate parallel processing and to overcome memory constraints such as capacity and bandwidth limitation. The effectiveness of the implementation was evaluated over ones produced by its software implementation. The throughput of the FPGA-based tracker was 30 frames/sec for video images with size of $720{ imes}480$.
