Optimisation du déploiement des stations de base ondes millimétriques dans les campus intelligents par renforcement profond multi-agents hors ligne

Contexte

Les réseaux mobiles de cinquième génération et les architectures futures s'appuient sur le spectre en ondes millimétriques pour offrir les larges débits requis par la croissance de la capacité. Pourtant, ces signaux subissent des pertes de propagation importantes et une formation de faisceau très directionnelle, si bien que le placement physique des stations de base détermine directement la qualité de la couverture et l'expérience des utilisateurs. Les campus intelligents constituent un environnement de déploiement particulièrement ardu : les bâtiments s'amoncellent et la demande se concentre dans des espaces précis, générant une topologie radio non convexe qui résiste à tout raisonnement géométrique simple.

Les méthodes de placement traditionnelles, fondées sur l'optimisation convexe ou l'analyse à forme fermée, supposent une géométrie lisse et régulière. Elles peuvent donc difficilement rendre compte des réalités de tels campus. L'étude cadre le défi central comme une maximisation simultanée de la complétude de la couverture et de l'équité entre utilisateurs. En raison du caractère non convexe et non lisse de la fonction d'objectif d'équité, ce problème de choix de site est classé NP-difficile, ce qui pousse les auteurs à le reformuler comme un Processus de Décision de Markov (MDP).

Analyse approfondie

La contribution méthodologique centrale réside dans une comparaison systématique de quatre architectures de renforcement profond, couvrant deux types d'espace d'action et deux modes de collaboration. La première est une Deep Q-Network (DQN) à agent unique discret, qui discrétise les emplacements candidats en un ensemble fini d'actions et confie à un seul agent les décisions globales de placement. La deuxième est une DQN multi-agents à partition spatiale, qui divise le campus en sous-régions afin que des agents indépendants prennent des choix localisés, atténuant l'explosion exponentielle de l'espace d'action.

Pour répondre aux exigences d'action continue, les auteurs introduisent une DDPG (Deep Deterministic Policy Gradient) à agent unique ainsi qu'un framework DDPG multi-agents à partition géographique. Ce dispositif couvre délibérément toute la matrice des actions discrètes et continues associées à la coordination单智能体 et multi-agents. Dans le schéma de partition, chaque agent allège sa complexité décisionnelle locale, accélérant la convergence dans les scénarios denses, tandis que la stratégie déterministe de DDPG convient aux outputs continus fins requis par un placement précis.

Impact sur l'industrie

Des expériences numériques menées sur une topologie de campus non convexe réaliste évaluent la couverture réseau, l'indice d'équité de Jain et la convergence algorithmique. Dans les scenarii à forte densité d'utilisateurs, l'approche DDPG multi-agents surpasse nettement les méthodes à agent unique, validant la valeur combinée de la partition géographique et du design d'action continue. Fait saillant, elle atteint une couverture complète couplée à un indice d'équité de Jain de 0.94, signifiant que les disparités d'expérience sont strictement contenues et qu'aucun petit groupe d'utilisateurs n'est marginalisé.

Le framework multi-agents démontre également une convergence computationnelle efficace dans un scénario dense servant 400 utilisateurs, confirmant que la qualité de la solution reste stable à mesure que l'échelle utilisateur grandit. Ces comparaisons de type ablation révèlent une claire tendance : à mesure que la complexité du scénario augmente, les méthodes à agent unique se dégradent, alors que la partition multi-agents combinée à une stratégie DDPG continue équilibre mieux performance et efficacité.

Perspectives

En unifiant un problème de déploiement NP-difficile sous une formulation MDP unique et en publiant un framework de comparaison partagé, ce travail abaisse la barrière de recherche pour les études ultérieures et encourage une évaluation standardisée dans la gestion des ressources sans fil. Le benchmark reproductible offre un point de référence concret plutôt qu'une unique solution performante.

Les auteurs suggèrent que les idées combinées de partition spatiale et d'actions continues s'étendent naturellement vers des problèmes plus exigeants, incluant les scénarios d'utilisateurs mobiles, les topologies variables dans le temps et l'optimisation conjointe de formation de faisceau. Ces pistes ouvrent une large marge d'expansion pour les travaux futurs, reliant modélisation théorique et praticité technique dans le déploiement des réseaux.