사용자-객체 상호작용을 위해서는 영상 내 객체의 종류와 위치를 정확하게 파악하여 사용자가 객체에 관련된 행동을 취할 경우, 그에 맞는 상호작용을 수행해야 한다. 이러한 객체인식에 널리 사용되는 지역 불변 특징량 기반의 방법론은 복잡한 배경이나 균일 물체에 대하여 잘못된 매칭으로 인식률이 저하된다. 본고에서는 이를 해결하기 위해, 컬러와 깊이 근접도 기반 깊이 계층을 나누고, 복잡 배경으로부터 생기는 잘못된 특징점 대응을 최소화 하기 위해 각 깊이 계층과 인식 물체 영상간의 특징점 대응을 수행한다. 또한, 각 깊이 계층영역에서 색상 히스토그램 재투영으로 객체의 위치를 추정하고 추정 영역과 인식 물체 영상간의 생상 및 깊이 유사도를 판단한다. 최종적으로, 복잡 배경 효과를 최소화한 특징점 대응의 수, 색상 및 컬러 유사도를 고려하여 신뢰도를 측정하여 객체를 인식하게 되며, 이를 통해 복잡한 배경에서도 사용자와 객체간의 유연한 상호작용이 가능해진다.