マルチエージェントのオフライン深層強化学習によるスマートキャンパスのミリメーター波基地局配置の最適化

背景と概要

第五世代および未来の無線ネットワークでは、大容量化を実現するためにミリメーター波帯が重要な役割を果たす。しかし高周波帯は伝播損失が大きく、ビームが指向性を持つため、基地局の物理的な配置がそのままカバリアチメントの品質とユーザー体験を左右する。スマートキャンパスは建物が密集しユーザーが特定の施設に偏在するため、非凸の無線トポロジーを形成し、幾何学的な簡易推論では捉えられない複雑さを示す。このため、凸最適化や閉形式の解析に基づく従来の配置手法では、実场景の特性を十分に反映することが難しい。

本研究が取り組む核心は、カバリアチメントの完全性とユーザー間の公平性を同時に最大化することである。最大最小公平性の目標関数が非凸・非滑らかであり、キャンパスのトポロジーも非凸であるため、この立地問題はNP-hardに分類される。著者は厳密解の探索ではなく、基地局の立地をマルコフ決定過程（MDP）として再定式化することで、解けない組み合わせ优化問題をエージェントが環境と相互作用して学習する順序決定問題へと変換し、深層強学習（DRL）による近似解の探索を可能にした。

深掘り分析

論文の中核となる方法論的貢献は、2つの動作空間型と2つの協調モードを網羅する4つのDRLアーキテクチャの体系的比較である。1つ目は離散型単一エージェントのDeep Q-Network（DQN）で、候補基地局位置を有限の動作セットに離散化し、1つのエージェントが配置を全局決定する。2つ目は空間分割型マルチエージェントDQNで、キャンパスを地理的なサブ領域に分割し、独立したエージェントが局所決定を行うことで動作空間の指数関数的爆発を緩和する。

連続動作の要件に対応するため、著者は連続型単一エージェントのDeep Deterministic Policy Gradient（DDPG）と、地理分割型マルチエージェントDDPGフレームワークを導入した。この設計は離散・連続の動作と単一・多智能体の協調を完全に網羅している。分割型のマルチエージェント方式では各エージェントが reduced な局所決定を担当するため高密度場での収束が加速し、DDPGの確定的戦略は精密な配置に必要な微細な連続出力に適している。

業界への影響

現実的な非凸キャンパストポロジーで行った数値実験は、ネットワーク覆盖率、Jain公平性指数、アルゴリズムの収束を評価した。高密度ユーザー場では、智能体DDPGが単一エージェント方式を大きく上回り、地理分割と連続動作設計の組み合わせの価値を実証した。最も注目すべきは、完全カバリアチメントと0.94という高いJain公平性指数を同時に達成しており、ユーザー体験の格差が厳しく抑制され、少数のユーザーが取り残されないことを示している。

また、400ユーザーの高密度場で効率的な計算収束を示し、ユーザー規模が増大しても解の品質が安定することを確認した。こうしたアブレーション的な比較から、場が複雑になるほど状態・動作空間が膨張して単一エージェント方式が劣化し、多智能体分割に連続DDPG戦略を組み合わせることが性能と効率のバランスに優れるという明確な傾向が浮かび上がった。これは5G・6Gのネットワーク展開において、建設コストとユーザー体験の両立を図る事業者にとって信頼性の高いアルゴリズム選択となる。

今後の展望

NP-hardの配置問題を1つのMDP定式化で統一し、共有の比較フレームワークを公開することで、本作業は後続研究の参入障壁を下げ、無線リソース管理における標準的な評価を促す。

再現可能なベンチマークは、単に高性能な解決策を提示するだけでなく、具体的な参照点を提供している。著者は、空間分割と連続動作の組み合わせを、移動ユーザー場や時間変動するトポロジー、連合ビーム赋形最適化など、より要求の厳しい問題へ自然に拡張できると示唆しており、将来の展開余地は大きい。