임현교, 울라 이산, 한연희,

Journal of Advanced Technology Research, Vol. 7, No. 1, pp. 5-13, 6월. 2022
10.11111/JATR.2022.7.1.005, Full Text:
Keywords: Deep Q-Network, Edge-Cloud 컴퓨팅, 자원 할당, 마르코프 결정 프로세스, IoT, 5G 네트워크
Abstract

최근 지능형 IoT 어플리케이션 및 5G 네트워크 서비스의 발전으로 새로운 패러다임이 Edge-Cloud 컴퓨팅의 등장으로 이어졌습니다. 자원 수요에 따라 IoT 어플리케이션은 계산이 복잡하고 대기 시간이 짧은 작업을 Edge 또는 Cloud로 Offloading 하여 수행해야 한다. 따라서, Edge-Cloud 컴퓨팅 시스템이 자원을 보다 효율적으로 할당하기 위해서는 지능적인 자원 관리 기법이 필요하다. 본 논문에서는 Edge-Cloud 컴퓨팅 시스템에서 자원 활용도를 최대화하고 Offloading 거부를 최소화하기 위해 지연 제약하에서 Task Offloading과 자원 할당을 최적화하는 것을 목표로 한다. Task Offloading 및 자원 할당을 위한 최적 결정을 고려하기 위해 심층 강화 학습이 적용된다. 이를 위해 최적화 문제를 Markov 결정 프로세스로 공식화한 다음 Deep Q-Network(DQN)를 활용하여 Task Offloading을 위한 최적의 정책을 찾는다. 따라서, 현재의 Edge와 Cloud에 남은 자원을 고려하여 동적 EdgeCloud 컴퓨팅 환경에서 DQN을 활용해 강화 학습 에이전트의 정책을 업데이트하고 Task를 최적으로 Offload 하도록 한다. 시뮬레이션 결과는 제안하는 기법이 최소 비용으로 자원 활용을 최대화하고 최소 작업 거부로 Task Offloading을 최대화한다는 점에서 기존의 휴리스틱 접근 방식보다 우수한 성능을 달성함을 증명한다.

Statistics
Cite this article