본 논문에서는 분할 영역기반 스테레오 정합에 있어서 분할 영역 추출시 컬러 외에 깊이 카메라의 초기 깊이, 프레임 간 분할 영역의 움직임 정보를 같이 이용한 분할 영역기반 스테레오 정합 기법을 제안한다. 제안한 기법은 깊이 카메라의 초기 깊이 정보를 이용하여 기준 영상의 객체/배경 분리를 먼저 수행하고, 분리된 객체/배경별로 컬러 영상 분할을 수행하여 분할 영역을 추출한다. 또한 분할 영역기반 깊이 정보 추출에 있어 프레임 간 깊이 정보의 연속성을 유지하기 위해 객체/배경 분리 정보, 분할 영역의 움직임 정보를 이용한다. 실험결과에서, 제안한 기법은 컬러 정보만을 이용한 기존의 분할 영역 추출 및 분할 영역 기반 스테레오 정합 기법에 비해 정적배경 영역에서 특히 분할 영역 추출과 깊이 정확도가 개선된 성능을 보였다.
We propose a novel image segmentation and segment-based stereo matching technique using color, depth, and motion information. Proposed technique firstly splits reference images into foreground region or background region using depth information from depth camera. Then each region is segmented into small segments with color information. Moreover, extracted segments in current frame are tracked in the next frame in order to maintain depth consistency between frames. The initial depth from the depth camera is also used to set the depth search range for stereo matching. Proposed segment-based stereo matching technique was compared with conventional one without foreground and background separation and other conventional one without motion tracking of segments. Simulation results showed that the improvement of segment extraction and depth estimation consistencies by proposed technique compared to conventional ones especially at the static background region.
