Omni-Embed-Mini : lier les modalités sans oublier le texte grâce à la distillation dense

Contexte et définition du problème

Les modèles d'embedding textuel constituent l'épine dorsale des systèmes de recherche modernes et des architectures RAG, mais leur extension à de nouvelles modalités — parole, audio, images, vidéo, documents visuellement riches — a toujours eu un coût: affiner un modèle d'embedding textuel pour qu'il comprenne aussi les pixels ou les formes d'onde tend à perturber les poids mêmes qui faisaient sa force en recherche textuelle. La réponse habituelle du domaine a consisté à ajouter des paramètres: les embedders omni-modaux ouverts existants dépassent régulièrement le milliard de paramètres, sacrifiant l'efficacité à la couverture.

Omni-Embed-Mini, issu d'une équipe de chercheurs de MBZUAI incluant Mohammed Irfan Kurpath et Hisham Cholakkal, pose une question plus incisive: un modèle compact de 0,9 milliard de paramètres peut-il absorber six modalités dans un seul espace de similarité cosinus partagé, sans jamais toucher au chemin textuel déjà fonctionnel? Cette formulation compte, car la plupart des piles de recherche en production sont contraintes par la latence et la mémoire; une réduction de taille de 2,7 à 9,5 fois par rapport aux embedders omni-modaux comparables n'est pas un gain cosmétique, elle change ce qui devient déployable en périphérie ou à grande échelle.

Architecture centrale et principes techniques

L'astuce centrale est presque philosophique: plutôt que de faire appel à un modèle d'embedding préentraîné séparé comme "enseignant" pour indiquer aux encodeurs des nouvelles modalités ce qu'est un bon embedding, Omni-Embed-Mini réutilise le backbone textuel figé comme son propre enseignant. Chaque échantillon non textuel — un extrait de parole, une image, une vidéo, un document scanné — est d'abord converti en une légende dense et en cascade, et la cible d'enseignement est simplement l'embedding de cette légende, calculé par le même backbone que celui que l'élève cherche à aligner. Parce que l'enseignant et l'élève partagent littéralement les poids du backbone, leurs embeddings vivent dans une géométrie identique au bit, plutôt que dans deux espaces similaires mais distincts nécessitant un pont.

Cela élimine la source habituelle de dérive représentationnelle. Par-dessus cela, le modèle n'entraîne que des projecteurs légers et des adaptateurs LoRA par phases attachés à l'encodeur de chaque modalité — les paramètres textuels ne sont jamais mis à jour, ce qui explique aussi pourquoi la performance de recherche textuelle (49,57 nDCG@10 sur MTEB-v2 BEIR-8) ne peut régresser par construction, et pas seulement grâce à un réglage soigné. L'objectif contrastif est une perte SigLIP de type Matryoshka, permettant de tronquer le même embedding à des dimensions plus petites sans réentraînement, combinée à un mineur de négatifs difficiles hybride en ligne dont les exemples négatifs deviennent progressivement plus difficiles à mesure que l'encodeur s'améliore, ce qui maintient le signal d'entraînement informatif au lieu de saturer prématurément.

Évaluation pratique et applications

La recette se révèle généralisable: en substituant un backbone vision-langage natif, on obtient une variante de 2,3 milliards de paramètres rapportée comme compétitive avec le modèle fermé gemini-embedding-2 de Google, et même légèrement en avance sur la moyenne globale toutes modalités confondues.

Pour les systèmes de recherche pratiques — recherche documentaire multilingue, RAG cross-modal sur diaporamas et PDF, recherche liée à la parole, récupération de clips vidéo — cela signifie qu'un seul espace vectoriel partagé peut servir des requêtes sur différents types de médias sans maintenir des index séparés ou des services d'embedding distincts par modalité, et sans le compromis habituel où l'ajout de modalités dégrade silencieusement la qualité de la recherche textuelle. Les auteurs publient modèles, code, données et le banc d'évaluation sur une page de projet publique, ce qui abaisse la barrière à la vérification indépendante et au réglage fin ultérieur.

Impact sur l'industrie et perspectives

L'implication la plus profonde est architecturale: "emprunter l'enseignant au backbone de l'élève lui-même" est un motif réutilisable bien au-delà de cet article, utile partout où un modèle figé de haute qualité doit être étendu à des entrées voisines sans risque lié au réglage fin.

Pour une industrie qui a assimilé la capacité omni-modale à une explosion du nombre de paramètres, un modèle de 0,9 milliard de paramètres qui préserve sa performance en recherche textuelle tout en ajoutant cinq modalités constitue un contre-exemple concret. La question ouverte est de savoir comment cette approche s'adapte à des modalités du monde réel encore plus bruitées et à des vidéos plus longues, et si l'astuce de la légende dense comme enseignant tient lorsque les légendes elles-mêmes sont imparfaites ou hallucinées — une dépendance que la conception en cascade de légendes de l'article devra tôt ou tard affronter directement.