특수 분장을 이용하여 매우 정교하게 제작된 가면을 쓴 얼굴 위변조의 경우 일반적인 밝기 영상으로는 검출이 용이하지 않다. 최근의 획기적인 특수 분장 기술 발전을 고려할 때 성공적인 얼굴 인식시스템 개발을 위해 가면을 쓴 얼굴 위변조 검출 연구는 매우 중요하다. 본 연구에서는 물질의 재질 및 표면 색상에 따른 반사율의 차이를 기반으로 가면을 착용하는 얼굴 위변조 검출 방법을 제안한다. 우선 실제 얼굴 인식 시스템의 적용 환경을 고려할 때 알비도(albedo)를 단순히 빛의 반사량, 즉, 영상에서의 그레이 값으로 간략화 할 수 있음을 보였다. 이를 기반으로 850nm 적외선 조명이 얼굴 피부와 가면재질의 구분에 가장 적합하고, 인종 간 다른 피부색에 대해서는 685nm 조명에서 뚜렷한 차이를 보임을 알 수 있었다. 이 두 파장대의 조명하에서 측정한 영상의 그레이 값으로 2D 특징 벡터를 만들어 사용하면 특징 공간 상에서의 얼굴 피부와 가면 재료의 분포는 선형적으로 분리가 가능한 분포를 갖게 되는 것을 알 수 있었다. Fisher Linear Discriminant(FLD)를 적용하여 97.8%의 가면 얼굴 검출율을 얻을 수 있었다. 제안하는 방법은 기존의 상용 얼굴 인식 시스템에 매우 적은 비용과 간단한 방법으로 추가 적용하여 모든 인종에 대한 얼굴 위변조 검출이 가능하다.
Masked fake face detection using ordinary visible images is a formidable task when the mask is accurately made with special makeup. Considering recent advances in special makeup technology, a reliable solution to detect masked fake faces is essential to the development of a complete face recognition system. This research proposes a method for masked fake face detection that exploits reflectance disparity due to object material and its surface color. First, we have shown that measuring of albedo can be simplified to radiance measurement when a practical face recognition system is deployed under the user-cooperative environment. This enables us to obtain albedo just by grey values in the image captured. Second, we have found that 850nm infrared light is effective to discriminate between facial skin and mask material using reflectance disparity. On the other hand, 650nm visible light is known to be suitable for distinguishing different facial skin colors between ethnic groups. We use a 2D vector consisting of radiance measurements under 850nm and 659nm illumination as a feature vector. Facial skin and mask material show linearly separable distributions in the feature space. By employing FIB, we have achieved 97.8% accuracy in fake face detection. Our method is applicable to faces of different skin colors, and can be easily implemented into commercial face recognition systems.
