비디오 복원(video completion) 기술은 비디오 영상에서 색상 정보가 없는 픽셀에 적절한 색을 채워 영상을 복원하는 기술이다. 본 논문에서는 움직이는 물체가 서로 교차하는 비디오 영상에서 원하지 않는 물체를 제거하고 이때 발생한 영상 홀(image hole)을 채우는 비디오 복원 기술을 제안한다. 움직이는 카메라에서 획득한 비디오 영상에서 이동하는 두 물체 중 카메라와 가까운 물체를 제거함으로써 가려진 이동물체와 배경에 홀이 발생하게 되고, 이 홀온 다른 프레임들의 정보를 이용하여 채움으로써 새로운 비디오를 생성한다. 입력 영상의 모든 프레임에 대해 각 물체의 중심을 추정하여 물체의 중심을 기준으로 시-공간 볼륨(spatio-temporal volume)을 생성하고, 복셀 매칭(voxel matching)을 통한 시간적 탐색(temporal search)을 수행한 후 두 물체를 분리한다. 가리는 물체 영역으로 판단된 부분을 삭제하고 공간적 탐색(spatial search) 방법을 이용하여 홀을 채워 가려짐이 있는 이동 물체 및 배경을 복원한다. 복원된 영상에서 블렌딩을 통해 솔기(seam)를 제거한다. 비디오카메라로 획득한 두 실영상을 이용하여 실험을 수행한 결과 가려진 물체를 복원한 새로운 비디오 영상을 생성할 수 있었다.
Video Completion refers to a computer vision technique which restores damaged images by filling missing pixels with suitable color in a video sequence. We propose a new video completion technique to fill in image holes which are caused by removing an unnecessary object in a video sequence, where two objects cross each other in the presence of camera motion. We remove the closer object from a camera which results in image holes. Then these holes are filled by color information of some others frames. First of all, spatio-temporal volumes of occluding and occluded objects are created according to the centroid of the objects. Secondly, a temporal search technique by voxel matching separates and removes the occluding object. Finally. these holes are filled by using spatial search technique. Seams on the boundary of completed pixels we removed by a simple blending technique. Experimental results using real video sequences show that the proposed technique produces new completed videos.
