- 버로우즈-휠러 변환과 다단계 정렬을 이용한 고속 한글 문서 탐색 기법
- ㆍ 저자명
- 박선영,조환규,Park. Sun-Young,Cho. Hwan-Gue
- ㆍ 간행물명
- 정보과학회논문지. Journal of KIISE. 소프트웨어 및 응용
- ㆍ 권/호정보
- 2012년|39권 11호|pp.912-926 (15 pages)
- ㆍ 발행정보
- 한국정보과학회
- ㆍ 파일정보
- 정기간행물| PDF텍스트
- ㆍ 주제분야
- 기타
표절이 심각한 사회적 문제로 부각되면서 표절 탐색에 대한 연구가 활발하게 진행되고 있다. 하지만 표절 탐색 시스템들은 표절의 검사와 문서의 수집에 대해서만 관심을 가질 뿐, 원문을 보호하는 측면은 고려하지 않는다. 저자들은 보통 자신의 저작물이 표절 탐색을 위해 무단으로 수집되는 것을 원하지 않기 때문에 표절 검사 문제와 이를 위한 데이터 수집 문제는 서로 상충할 수 밖에 없다. 따라서 본 논문에서는 원문을 보호함과 동시에 빠른 유사도 탐색을 수행하는 방법을 제안하고자 한다. 이 시스템은 색인을 위한 접미사 배열용 생성하고 저장하기 위하여 버로우즈-휠러 변환(Burrows-Wheeler Transform, BWT)을 사용하며, 유사 영역을 사용자 선택적으로 찾기 위하여 다단계 정렬(Multi-Level Alignment, MLA) 이라는 방법을 활용한다. 또한 원문을 보호하기 위하여 손실 압축의 일종인 한글 스킨 추출을 사용한다. 실험 결과 제안한 모델을 통해 원문을 매우 효과적으로 보호하면서, 20자 이상의 검색어에 대해서는 매우 정확하게 검색을 수행함을 알 수 있었다. 또한 다단계 정렬을 통해 사용자가 속도와 검색 민감도를 적절히 조정하면서 유사 영역을 탐색할 수 있었다.
Recent rapid rise in plagiarism has become a serious social issue and has prompted increasing research on copy detection. Unfortunately, current plagiarism detection systems are concerned with detecting and collecting documents but failed to protect the original documents. Since authors usually do not want their work to be collected for plagiarism inspection without their permission, plagiarism detection and source document protection are in conflict with each other. We present a new method that provides both protection of original texts and performing fast document similarity searches. Our system uses Burrows-Wheeler Transform (BWT) to create and store suffix arrays, and Multi-Level Alignment (MLA) to search similar regions with various user-defined precision settings. It also uses a lossy compression method so-called Korean Skin Extraction to protect the original sources. By experimental evaluation, we demonstrate that our proposed system effectively protects original texts as well as performs precise and fast searches with text queries longer than 20 letters. We also show that the proposed system can adjust trade-off between the inspection time and precision by user-defined settings with MLA.