본 논문에서는 다시점 동영상에서 임의시점영상을 생성하기 위한 기법과 생성된 영상 내에 존재하는 미처리 영역을 보상하기 위한 전처리 및 후처리 기법을 제안한다. 임의시점영상을 생성하기 위한 방법으로는 카메라의 기하학적 특성을 이용하는 방법을 사용한다. 다시점 영상의 깊이정보와 카메라의 파라미터 정보를 이용하여 텍스쳐 영상 내 화소들의 실제 3차원 좌표를 얻어낼 수 있고, 산출된 3차원 좌표를 다른 시점 카메라의 2차원 영상면으로 재 배치함으로써 원하는 시점의 영상을 생성할 수 있다. 하지만 생성된 영상 내에는 다수의 미처리 영역이 존재한다. 본 논문에서는 영상의 시간적인 중복성, 공간적인 방향성, 획득된 다시점 영상 또는 깊이정보의 오차의 특징을 고려하여 미처리 영역을 보상하는 방법을 제안한다. 제안한 방법을 적용한 결과 30dB 이상의 PSNR과 3.5이상의 DSCQS(double stimulus continuous quality scale method) 점수를 얻음으로써 객관적, 주관적 평가에서 모두 신뢰도가 높은 임의시점 영상을 생성할 수 있었다.
In this paper, we propose a method for an arbitrary-view image generation in multi-view video and methods for pre- and post-processing to compensate unattended regions in the generated image. To generate an arbitrary-view image, camera geometry is used. Three dimensional coordinates of image pixels can be obtained by using depth information of multi-view video and parameter information of multi-view cameras, and by replacing three dimensional coordinates on a two dimensional image plane of other view, arbitrary-view image can be reconstructed. However, the generated arbitrary-view image contains many unattended regions. In this paper, we also proposed a method for compensating these regions considering temporal redundancy and spatial direction of an image and an error of acquired multi-view image and depth information. Test results show that we could obtain a reliably synthesized view-image with objective measurement of PSNR more than 30dB and subjective estimation of DSCQS(double stimulus continuous quality scale method) more than 3.5 point.
