고성능 하드웨어 컴퓨팅 자원의 가용성을 높이기 위한 소프트웨어 기술로 가상화 기술이 주목 받고 있다. 이와 함께 점차 심화되고 있는 대용량 데이터 처리에 대한 솔루션으로 하둡과 맵리듀스가 있다. 본 논문에서는 이러한 대용량 데이터 분산 처리 시스템을 가상화 클러스터 환경에 적용하고, 가상화 클러스터 환경에서의 대용량 데이터 분산 처리 성능을 향상시키기 위한 연구로 하둡에 존재하는 200여개의 환경 설정 변수에 주목하였다. 최적의 환경 설정 변수를 찾기 위해 다양한 실험이 수행되었으며 최적의 Reduce 태스크 수에 큰 영향을 주는 두 가지 요인에 대한 추가 실험과 결과에 대해 기술한다.
Software technology to increase the availability of high-performance hardware computing resources for the virtualization technology is getting attention. Hadoop and MapReduce is the solution for increasingly large data processing. In this paper, we apply this large distributed data processing system to the virtualized cluster environment, and focus set of more than 200 configuration variables that exist in the Hadoop for research to improve the performance of distributed processing of large amounts of data in a virtualized cluster environment. Many experiments were performed to find the optimal configuration variables. We describe about the experiments and the results of the two factors that have a significant impact on the optimal number of Reduce tasks.
