본 논문에서는 IPTV 환경의 원격 영상회의에서 화자 간의 자연스러운 시선 맞춤(eye contact)을 위한 깊이영상의 후처리 필터링 기술을 제안한다. 제안하는 방법은 깊이탐색 기술과 영상합성 기술을 사용해서 화자의 정면시점 영상을 합성한다. 하지만, 깊이영상을 탐색하는 과정에서 객체의 경계 불일치, 시간적 상관도 저하 등의 문제가 발생하기 때문에 이를 해결하기 위해 시간축으로 확장된 결합형 양방향 필터(joint bilateral filter)를 제안한다. 실험 결과를 통해, 제안하는 깊이영상의 후처리 필터링 기술이 정면시점 합성영상의 화질을 향상시켰고, 원격의 화자와 시선 맞춤이 기능한 것을 확인했다.
In this paper, we present an immersive videoconferencing system that enables gaze correction between users in the internet protocol TV (IPTV) environment. The proposed system synthesizes the gaze corrected images using the depth estimation and the virtual view synthesis algorithms as one of the most important techniques of 3D video system. The conventional processes, however, causes several problems, especially temporal inconsistency of a depth video. This problem leads to flickering artifacts discomforting viewers. Therefore, in order to reduce the temporal inconsistency problem, we exploit the joint bilateral filter which is extended to the temporal domain. In addition, we apply an outlier reduction operation in the temporal domain. From experimental results, we have verified that the proposed system is sufficient to generate the natural gaze-corrected image and realize immersive videoconferencing.
