클라우드 컴퓨팅 서비스를 제공하기 위해서는 데이터의 분산 저장 및 병렬 처리가 가능한 IT인프라 구축이 필수적이다. 이를 위해서 대용량 데이터의 분산 처리가 지원되는 MapReduce 프레임워크가 각광 받고 있다. MapReduce 프레임워크는 저비용으로 분산 병렬 처리 시스템을 구축하기에 효과적이지만, 전체 MapReduce 작업의 스케줄링 및 작업 할당을 담당하는 JobTracker가 SPOF(Single Point of Failure)라는 문제가 있다. 이로 인해 MapReduce 작업 도중 JobTracker에 결함이 발생하게 되면 전체 MapReduce 작업을 처음부터 다시 시작해야 하므로 작업 완료 시간이 증가한다. 위와 같은 문제를 해결하고자 본 논문에서는 MapReduce 프레임워크의 JobTracker 결함 허용 메커니즘을 설계 구현하고, MapReduce 테스트베드와 결함 주입 기법을 이용하여 성능 평가를 실시하였다. 그 결과, 기존 MapReduce에 비해 JobTracker 결함 허용이 적용된 MapReduce의 평균 작업 완료 시간은 46.5%~64.4% 감소됨을 확인하였다.
In order to effectively provide cloud computing, IT infrastructure which supports distributed file system and parallel data processing is essential. To this end, MapReduce framework has been widely used for distributed processing of large-scale data. MapReduce framework has been proven as an efficient way to construct distributed and parallel processing system at relatively low cost. However, it has the problem of single point of failure (SPOF) at JobTracker that is responsible for scheduling and assigning of all MapReduce tasks. When JobTracker has failed, the completion time of the MapReduce job is increased because the entire MapReduce tasks must be restarted. To resolve the above mentioned problem we designed and implemented JobTracker fault-tolerant mechanism for MapReduce framework. The performance of the mechanism is evaluated by using MapReduce testbed and fault-injection method. As a result, the average job completion time of the mechanism is dramatically reduced about 46.5%~64.4% compared to the result of a naive MapReduce.
