- 대규모 넷플로우 데이터 분석을 위한 룰 기반 맵리듀스 아키텍쳐
- ㆍ 저자명
- 이연희,이영석,Lee. Yeonhee,Lee. YoungSeok
- ㆍ 간행물명
- 정보과학회논문지. Journal of KIISE. 정보통신
- ㆍ 권/호정보
- 2013년|40권 6호|pp.303-311 (9 pages)
- ㆍ 발행정보
- 한국정보과학회
- ㆍ 파일정보
- 정기간행물| PDF텍스트
- ㆍ 주제분야
- 기타
넷플로우는 가장 보편적인 네트워크 트래픽 모니터링 및 분석을 위한 축약 기술로서 다양한 분석 툴들이 개발되어 왔다. 본 논문에서는 대규모 넷플로우에 대한 다양한 분석을 위하여 하둡 분산환경에서의 플로우 통계과 이상탐지를 위한 단일의 맵리듀스 룰 구조를 설계하고, 이를 이용한 분석과 침입탐지의 맵리듀스 방법을 제안한다. 본 논문에서 제안한 룰 기반 플로우 분석 방법의 범용성을 검증하기 위하여 대규모 네트워크 모니터링을 위한 CERT NetSA의 보안 툴인 SiLK 룰으로의 변환방법을 제시한다. 실험을 통해 우리가 제안한 룰 기반의 분석 방법이 시스템의 처리성능과 분석기능의 확장을 쉽게 달성할 수 있음을 확인한다. 본 연구는 하둡 기반의 IDS 시스템을 위한 토대로서, 향후 하둡 클러스터를 이용한 통합 네트워크 보안 솔루션으로 발전할 수 있을 것으로 기대한다.
NetFlow has been widely adopted for network monitoring and analysis. In this paper, we propose a MapReduce-oriented rule structure for calculating statistics and detecting anomalies from NetFlow data, and present a unified MapReduce job architecture for one-pass analytics using rulesets. By applying our proposal to the SiLK, a CERT NetSA security suite for large-scale network monitoring we show that our rule-based MapReduce approach is easily deployed for managing lots of flow data. From the evaluation with a Hadoop testbed, we confirm that our rule-based MapReduce approach is a scalable and practical solution for analyzing a large volume of NetFlow.