본 논문에서는 비디오에서의 특징점 추적을 통해 얻은 2차원 좌표를 이용하여 3차원 구조를 계산하고 부분적으로 복원된 형상들을 점진적으로 융합하여 전체 형상을 생성하는 기법을 제안한다. 영상의 각 프레임에서 공통적으로 추적된 특징점들을 이용하여 형상을 추정한다. 3차원 좌표 추정 방법으로 개선된 직교분해기법을 사용하였다. 개선된 직교분해기법에서는 3차원 좌표를 복원함과 동시에 카메라의 위치와 방향을 계산할 수 있다. 복원된 부분 형상의 융합을 통해 입체적인 전체 형상을 만든다. 복원된 부분 데이터들의 서로 다른 좌표계를 기준 좌표계로 변환하여 하나의 전체 형상으로 융합한다. 형상 추정 과정과 융합 과정이 통합적으로 수행되며 반복적 최적화 작업을 수행하지 않고 선형적으로 이루어진다. 이는 기존 융합 방법인 ICP(Iterative Closest Point) 방법보다 융합 속도를 향상시켜 빠른 형상 복원이 가능하다. 융합 시간은 평균 0.01초 이내의 수행 속도를 보이며 융합의 오차는 평균 1.0mm 이하의 오차를 보였다.
This paper proposes a 3D structure recovery and registration method that uses four or more common points. For each frame of a given video, a partial structure is recovered using tracked points. The 3D coordinates, camera positions and camera directions are computed at once by our improved scaled orthographic factorization method. The partially recovered point sets are parts of a whole model. A registration of point sets makes the complete shape. The recovered subsets are integrated by transforming each coordinate system of the local point subset into a common basis coordinate system. The process of shape recovery and integration is performed uniformly and linearly without any nonlinear iterative process and without loss of accuracy. The execution time for the integration is significantly reduced relative to the conventional ICP method. Due to the fast recovery and registration framework, our shape recovery scheme is applicable to various interactive video applications. The processing time per frame is under 0.01 seconds in most cases and the integration error is under 0.1mm on average.
