교차로의 신호제어는 지금까지 설치 및 사용 간단하다는 이유로 고정식 제어 방식을 사용해왔다. 고정식 제어는 교차로의 교통량을 실시간으로 반영하지 못하기 때문에 효율성이 떨어진다. 이러한 문제를 해결하기 위해 감응식 제어가 사용되고 있지만 단일 교차로의 교통량만을 이용하기 때문에 복잡한 도심지 교통 환경에 적용하기에는 한계가 있다. 하지만 도심지의 교통은 매일 반복적인 패턴을 보인다는 특징이 있다. 본 논문에서는 반복적인 교통 패턴을 학습하여 도심지 교통망을 효율적으로 제어할 수 있는 강화학습이론 기반의 새로운 신호제어 알고리즘을 제안한다. 제안하는 알고리즘은 교통패턴 학습, 경로탐색, 교통 혼잡구간 탐색, 다중 교차로 제어의 4가지 단계로 이루어지며, 이들의 연동은 교통 혼잡을 빠르게 해소할 수 있게 한다. 특히, 시간이 지날수록 학습결과누적으로 해당 교통 환경에 최적화된 신호제어가 가능하다. 제안하는 알고리즘의 평가를 위하여 마이크로스코픽 시뮬레이터를 사용하여 기존의 신호제어 기법과 성능을 비교한다.
A pre-timed signal control has been used due to the simplicity of installation and implementation. Since the pre-timed signal control does not reflect real-time traffic information, the efficiency of intersection control is limited. To address the inefficiency of pre-timed signal control, actuated signal control is introduced. However, the actuated signal control has limited applicability in urban environment with complex traffic flow because only a single intersection is considered. However, urban traffic flow has a characteristic of repetitive flow pattern. In this paper, a new traffic signal control based on reinforcement learning is proposed for the effective multiple intersections control of urban traffic environment. The proposed method is composed of traffic pattern learning, path searching, congested area searching, and multiple signals controlling. The interlocking of these components alleviate the traffic congestion problem as soon as possible. In particular, as the learning of traffic pattern is accumulated, the optimal signal control in various traffic conditions can be produced. To prove the efficiency of the proposed signal control method, other previous signal control methods are compared on microscopic simulator.
