본 논문에서는 FPGA와 GPU를 이용한 실시간 스테레오 다시점 변환 시스템을 소개한다. 해당 시스템은 이종의 연산장치를 이용하며 그에 따라 크게 두 부분으로 나뉜다. 첫 번째 부분은 변이 추출 부분으로서 실시간 계산을 위해 FPGA기반으로 구현되었다. 기본적으로 DP(Dynamic programming) 기반의 스테레오 정합 방법을 통해 초기 변이 영상이 계산되며, 후처리를 통해 개선된다. 개선된 변이 영상은 USB3.0과 PCI-express를 통해 GPU 장치로 전송된다. 스테레오 입력 영상이 GPU장치로도 전송되면, 변이 영상의 변이 값을 이용하여 중간 시점에서의 영상을 합성한다. 생성된 시점 영상들은 무안경 다시점 3차원 디스플레이의 특성에 맞게 하나의 영상으로 화소 또는 부분화소 단위로 재배치되는 시점 다중화 과정을 거쳐 최종적으로 4K 무안경 다시점 디스플레이에 실시간으로 재생된다. 스테레오 정합을 제외한 나머지 연산은 모두 GPU에서 병렬처리된다
In this paper, we introduce a real-time stereo-to-multiview conversion system using FPGA and GPU. The system is based on two different devices so that it consists of two major blocks. The first block is a disparity estimation block that is implemented on FPGA. In this block, each disparity map of stereoscopic video is estimated by DP(dynamic programming)-based stereo matching. And then the estimated disparity maps are refined by post-processing. The refined disparity map is transferred to the GPU device through USB 3.0 and PCI-express interfaces. Stereoscopic video is also transferred to the GPU device. These data are used to render arbitrary number of virtual views in next block. In the second block, disparity-based view interpolation is performed to generate virtual multi-view video. As a final step, all generated views have to be re-arranged into a single image at full resolution for presenting on the target autostereoscopic 3D display. All these steps of the second block are performed in parallel on the GPU device.
