멀티에이전트 오프라인 딥강화학습을 통한 스마트 캠퍼스 밀리미터파 기지국 배치 최적화

배경

5세대 및 차세대 무선 네트워크는 용량 증대를 위해 밀리미터파 대역을 활용하지만, 높은 주파수로 인한 전파 손실이 크고 빔 포밍이 매우 방향성을 띠기 때문에 기지국의 물리적 배치 위치가 곧 네트워크 커버리지 품질과 사용자 경험을 결정한다. 스마트 캠퍼스는 이러한 배치가 특히 어려운 대표적인 복합 비볼록 토폴로지 환경이다. 건물이 빽빽하게 밀집되어 있고 사용자 요구가 특정 시설에 집중되면서, 단순한 기하학적 추정으로 해결하기 어려운 무선 토폴로지가 형성된다. 건물 사이로 전파가 차단되고 반사되는 현실은 볼록 최적화나 폐쇄해석 기반의 기존 배치 방법이 직면하는 한계를 드러낸다.

이 연구의 핵심 과제는 커버리지 완전성과 사용자 간 공정성을 동시에 극대화하는 것이다. 최대 공정성 목적 함수가 비볼록이자 비매브러운 특성을 띠고, 실제 캠퍼스 토폴로도 비볼록이기 때문에 이 배치 문제는 NP-hard 난제로 분류된다. 정확한 최적해를 구하는 것은 규모가 커질수록 계산적으로 불가능하기 때문에, 저자들은 기지국 입지를 마르코프 결정 과정(MDP)으로 재구성한다. 이를 통해 풀기 어려운 조합 최적화 문제를 에이전트가 환경과 상호작용하며 학습하는 순차적 결정 문제로 전환하고, 딥강화학습(DRL)로 근사해를 도출한다.

심층 분석

논문은 두 가지 동작 공간과 두 가지 협업 방식을 아우르는 네 가지 DRL 아키텍처를 체계적으로 비교하는 방법을론적 기여를 centr한다. 첫 번째는 이산형 단일에이전트 Deep Q-Network(DQN)로, 후보 기지국 위치를 유한한 동작 집합으로 이산화하고 단일 에이전트가 전역 배치를 결정한다. 두 번째는 공간分区 멀티에이전트 DQN으로, 캠퍼스를 지리적 하위 지역으로 나누어 독립적인 에이전트가 지역적 결정을 내리도록 하여 동작 공간의 지수적 폭발을 완화한다.

연속 동작 요구를 다루기 위해 저자들은 연속형 단iele이전트 Deep Deterministic Policy Gradient(DDPG)와 지적分区 멀티에이전트 DDPG 프레임워크를 함께 도입한다. 이 설계는 의도적으로 이산과 연속 동작, 단일과 다중 에이전트 협조의 완전한 행렬을 커버한다. 멀티에이전트分区 방식에서는 각 에이전트가 축소된 지역적 결정 복잡도를 처리하여 밀집 환경에서 수렴을 가속화하고, DDPG의 결정적 정책은 정밀한 배치에 필요한 세밀한 연속 출사에 적합하다.

산업 영향

현실적인 비볼록 캠퍼스 토폴로지에서 수행된 수치 실험은 네트워크 커버리지, Jain 공정성 지수, 알고리즘 수렴을 평가한다. 고밀도 사용자 환경에서 멀티에이전트 DDPG는 단iele이전트 방법을 크게 능가하여 지적分区와 연속 동작 설계의 결합된 가치를 검증한다. 특히 이 방법은 전체 커버리지를 달성하면서도 Jain 공정성 지수 0.94를 획득하여, 사용자 경험의 격차가 엄격하게 통제되고 소수의 사용자가 소외되지 않음을 의미한다.

멀티에이전트 프레임워크는 400 사용자의 밀집 시나리오에서도 효율적인 계산 수렴을 보여주어, 사용자 규모가 커져도 해의 품질이 안정적으로 유지됨을 확인시킨다. 이러한 아블레이션식 비교는 명확한 패턴을 드러낸다. 시나리오 복잡도가 상승하면 단iele이전트 방법은 동작 상태 공간이 폭발하며 성능이 저하되는 반면, 연속 DDPG 정책과 결합된 멀티에이전트分区는 성능과 효율을 더 잘 균형 있게 맞춘다. 이는 5G 및 6G 네트워크 구축 단계에서 건설 비용과 사용자 경험을 동시에 고려하는 통신사에 대해 신뢰할 수 있는 알고리즘 선택지가 된다.

전망

NP-hard 배치 문제를 단일 MDP 형식 아래 통합하고 공유 비교 프레임워크를 공개함으로써, 이 작업은 후속 연구의 장벽을 낮추고 무선 자원 관리 분야의 표준화된 평가를 촉진한다. 재현 가능한 벤치마크는 단일 고성능 솔루션을 제안하는 데 그치지 않고 구체적 참조 지점을 제공한다. 저자들은 지적分区와 연속 동작을 결합한 아이디어가 이동 사용자 시나리오, 시간 가변 토폴로지, 결합 빔 포밍 최적화 등 더 요구가 큰 문제로 자연스럽게 확장될 수 있다고 제시하며, 향후 확장 공간이 크다고 전망한다.

이러한 관점은 실증적으로 검증된 다중 에이전트 접근법이 실제 캠퍼스 환경은 물론 유사한 복합 비볼록 토폴로지를 가진 다양한 무선 네트워크 배포에 적용 가능한 길잡이가 될 것임을 시사한다. 특히 사용자 밀도가 높고 요구가 불균형하게 분포하는 환경에서 높은 커버리지와 공정성을 동시에 확보하려는 모든 무선 시스템에 본 연구의 기준이 유용하게 활용될 것으로 기대된다.