CORAL : Un cadre d'optimisation continue de niveau production pour les systèmes de recommandation basé sur des boucles fermées d'agents LLM

Contexte

Les systèmes de recommandation constituent l'infrastructure critique pour l'accès à l'information de milliards d'utilisateurs à travers le monde. Cependant, maintenir une performance élevée ne constitue pas une réussite statique, mais exige un processus dynamique et continu d'optimisation. À mesure que les écosystèmes de contenu, les schémas comportementaux des utilisateurs et les capacités des modèles en amont évoluent, les paramètres clés régissant les stratégies de recherche, de classement et de mise en service en ligne doivent être constamment ajustés. Traditionnellement, ce flux de travail d'optimisation repose lourdement sur des ingénieurs en algorithmes humains qui mènent des expériences en ligne fastidieuses pour tester les modifications. Cette approche réactive, contrainte par des ressources d'ingénierie limitées, entraîne souvent un retard du système face à des environnements changeants rapidement, laissant certaines modules non mis à jour et inefficaces.

Bien que les Grands Modèles de Langage (LLM) aient été appliqués à des composants isolés tels que le classement, la modélisation des utilisateurs et le développement de modèles hors ligne, peu de systèmes ont placé des agents au sein d'une boucle fermée continue pour agir directement sur les systèmes de recommandation en ligne et apprendre des résultats réels de leurs décisions. Le cadre CORAL (Constraint-Optimized Recommender via an Agentic Loop) proposé ici comble cette lacune en établissant un cadre d'optimisation natif aux LLM. Il automatiser le processus itératif de l'observation à l'exécution, transformant l'optimisation continue en un processus piloté par l'agent qui permet aux systèmes de s'adapter autonomement aux environnements non stationnaires sans intervention manuelle.

Analyse approfondie

Sur le plan technique, CORAL formalise l'optimisation continue des systèmes de recommandation comme un problème d'optimisation sous contraintes, non stationnaire et partiellement observable. Le cœur de cette architecture est un agent LLM qui exécute trois étapes clés à chaque cycle d'optimisation. Premièrement, il observe les signaux opérationnels actuels du système, y compris le trafic en temps réel, les retours des utilisateurs et les indicateurs de performance. Deuxièmement, il utilise un module de mémoire pour rappeler les décisions passées et leurs résultats correspondants, établissant ainsi des capacités conscientes du contexte. Enfin, il invoque une suite d'outils pour reconfigurer le système de recommandation, notamment un optimiseur numérique qui garantit que toutes les modifications de configuration restent strictement dans les budgets opérationnels fixes.

Crucialement, cette amélioration de la stratégie n'est pas obtenue par rétropropagation traditionnelle pour mettre à jour les paramètres du modèle. Au lieu de cela, elle exploite les capacités d'apprentissage dans le contexte des LLM pour ajuster dynamiquement les stratégies au sein de l'ingénierie des invites en fonction des résultats des actions précédentes. Cette conception architecturale permet à l'agent de s'adapter aux changements environnementaux en ajustant les paramètres de configuration du système, tels que les poids, les seuils et les règles de routage, sans modifier les poids sous-jacents du modèle. Cette approche d'optimisation non paramétrique réduit non seulement la surcharge computationnelle, mais améliore également la sécurité et l'interprétabilité du système, car toutes les modifications sont protégées par des contraintes explicites, empêchant les chutes catastrophiques de performance causées par les hallucinations de modèle ou le surajustement.

Impact sur l'industrie

Pour valider l'efficacité de CORAL, l'équipe de recherche a mené des tests A/B rigoureux sur deux grandes plateformes sociales. Les résultats ont démontré la flexibilité et la robustesse du cadre à travers différents scénarios commerciaux. Sur une plateforme, CORAL a considérablement augmenté l'engagement des utilisateurs sans aucun coût de service supplémentaire. Sur l'autre, il a réduit efficacement les coûts de service tout en maintenant les niveaux d'engagement des utilisateurs. Cette réalisation comble le fossé entre l'engagement et l'efficacité, prouvant que le cadre peut équilibrer différents objectifs d'optimisation en fonction des besoins commerciaux spécifiques.

Les expériences d'ablation ont révélé que la performance du système présente une tendance ascendante continue à mesure que la boucle fermée de l'agent itère. Cela indique que l'apprentissage de l'agent à partir de l'expérience historique et accumule des connaissances au fil du temps. L'amélioration des indicateurs clés n'est pas accidentelle, mais découle de la compréhension profonde et du contrôle précis de l'agent sur la dynamique complexe du système. De plus, les expériences ont montré que CORAL maintient la stabilité du système en ajustant rapidement les configurations, même face à des fluctuations soudaines du trafic ou à des changements de distribution de contenu, démontrant une forte adaptabilité dans les environnements non stationnaires.

Perspectives

L'introduction de CORAL a des implications significatives pour l'industrie des systèmes de recommandation. Elle fournit un nouveau paradigme à la communauté open source et aux praticiens industriels, utilisant les capacités agentic des LLM pour automatiser le travail de réglage complexe traditionnellement effectué par des ingénieurs en algorithmes humains. Cela abaisse non seulement les barrières techniques, mais libère également la productivité des ingénieurs, leur permettant de se concentrer sur des tâches plus créatives. De plus, la conception du cadre est hautement généralisable et peut être étendue à d'autres systèmes complexes nécessitant une optimisation continue, tels que le classement des publicités et la distribution de contenu.

Pour le déploiement industriel, la capacité à améliorer la performance sans mettre à jour les paramètres du modèle simplifie considérablement le processus de déploiement et réduit les risques opérationnels. De plus, l'accent mis sur les mécanismes d'optimisation sous contraintes fournit des garanties de sécurité pour l'application des systèmes d'IA dans les scénarios commerciaux critiques, assurant la contrôlabilité et la conformité des décisions automatisées. À mesure que les capacités des LLM continuent d'avancer et que la technologie agentic mûrit, le paradigme d'optimisation continue représenté par CORAL devrait devenir un composant standard des architectures de systèmes de recommandation, poussant l'ensemble de l'industrie vers une intelligence et une automatisation accrues.