MoTE: Ein Mix aus Aufgaben-Experten für mehrstufige Videoverständnis

Hintergrund

Prozedurale Video-Sprachmodelle stehen vor einer anspruchsvollen Anforderung: Sie müssen heterogene Aufgaben—Aktionserkennung, Aktionsvorhersage und Prozessvorhersage—gleichzeitig aus derselben visuellen Evidenz verarbeiten. Genau hier entsteht ein Spannungsfeld, das die Forschung bis heute kaum aufgelöst hat. Ein Modell soll eine einzige visuelle Repräsentation über alle Aufgaben hinweg teilen, zugleich aber je nach Aufgabe unterschiedlich schließen. Die Autoren fassen dies als Dekodierproblem und betten es in die Architektur ein: Wie die Struktur des Dekoders aufgebaut ist, entscheidet darüber, ob Aufgaben sauber getrennt bleiben oder ineinander übergehen.

Die Arbeit benennt eine konkrete Schwäche des vorherrschenden Ansatzes. Dense Transformer-Decoder teilen sich ein einziges Feedforward-Netzwerk über alle Aufgaben. Weil jede Aufgabe auf dieselben Gewichte zugreift, verweben sich die Verhaltensweisen verschiedener Aufgaben, und einzelne Fähigkeiten lassen sich nur schwer isolieren. Diese Verflechtung erschwert zugleich die kontrollierte Erweiterung einzelner Kompetenzen, da die Ausweitung einer Aufgabe stets die geteilten Parameter stört. Die Autoren betonen, dass es sich um eine strukturelle Limitierung handelt, nicht bloß um ein Skalierungsproblem.

Spärliche Mixture-of-Experts-Decoder bieten bedingte Berechnung zum Speichern von Rechenleistung, doch ihr übliches, auf Token-Ebene gelerntes Routing richtet sich nicht von selbst nach aufgabenbezogenen Zielen. Die Routing-Entscheidungen entstehen aus gelernten Gewichten, die sich nur mühsam auf klare Aufgaben-semantiken abbilden lassen. Das Ergebnis ist ein effizienter, zugleich aber intransparenter Decoder, der nicht garantieren kann, dass eine gegebene Berechnung tatsächlich der beabsichtigten Aufgabe dient. Diese Diskrepanz treibt den zentralen Vorschlag der Arbeit voran.

Tiefenanalyse

Die Autoren schlagen MoTE vor, den Mixture-of-Task-Experts-Dekoder, der das Feedforward-Netzwerk eines großen Sprachmodells in eine Gruppe aufgabenbezogene Experten umwandelt und dabei das multimodale Backbone über alle Aufgaben hinweg gemeinsam nutzt. Jede Probe routet entlang einer einzigen Aufgabe, um die entsprechenden Experten zu aktivieren. Diese Struktur bewahrt die Effizienz bedingter Berechnung und lässt das Routing-Ergebnis zugleich direkt auf eine konkrete Aufgabe abbilden—ein Zwischenweg zwischen Nachvollziehbarkeit und Kosten.

Der zentrale technische Schritt ist das aufgabenbezogene Routing auf Probe-Ebene statt des auf Token-Ebene gelernten Routings. Weil jede Eingabe einem einzigen, expliziten Aufgabenpfad folgt, entkoppelt sich die aktivierte Berechnungsmenge von der Gesamtanzahl der gespeicherten Aufgabenexperten. Diese Eigenschaft ist entscheidend für die Kostenkontrolle: Der Aufwand wächst nicht linear mit der Anzahl der Aufgaben, was die Autoren als essenziell für Systeme ansehen, die fortlaufend neue Fähigkeiten hinzufügen müssen. Das Routing-Verhalten bleibt dabei explizit und beobachtbar, statt in lernbaren spärlichen Gewichten zu verschwinden.

Das Training nutzt die Kombination aus gemeinsamem Backbone und aufgabenbezogenen Dekodier-Experten. Dadurch lassen sich visuelle Repräsentationen und aufgabenbezogene Schlussfolgerungsfähigkeiten innerhalb eines einheitlichen Rahmens getrennt optimieren. So bleibt die Aufgaben-übergreifende Teilung des Visualverständnisses erhalten, zugleich ermöglicht die Struktur eine aufgabenbezogene Ausdrucksmöglichkeit. Sie führt den ausgereiften Decoder-Ansatz großer Sprachmodelle fort und bearbeitet ihn auf semantischer Ebene durch aufgabenbezogenes Routing weiter, sodass bedingte Berechnung die Ziele des prozeduralen Videoverständnisses wirklich bedient.

Branchenwirkung

Die Autoren bewerten VideoLLM-MoTE über fünf COIN-Benchmarks und treiben den Decoder mit explizitem Aufgaben-Routing. Das Fünf-Experten-Modell aktiviert pro Probe etwa zwei Milliarden Parameter des Sprachmodells, erreicht aber eine durchschnittliche top-1-Genauigkeit, die neuere VideoLLM-Baselines übertrifft. Trotz der Aktivierung nur eines kontrollierten Anteils der Parameter positioniert sich der Ansatz damit wettbewerbsfähig gegenüber zeitgenössischen Systemen.

Ablationen und kontrollierte Vergleiche erweisen sich als entscheidend. Unter derselben Experten-Topologie schlägt MoTE sowohl das dense volle-Experten-Aktivierungsschema als auch eine Kontrollgruppe mit lernbarem spärlichen Routing. Dieser Vergleich zeigt, dass das aufgabenstrukturierte Routing bei Effizienz und Leistung einen echten Vorteil gegenüber rein gelernten Routing-Mechanismen hat, statt ihm nur zu entsprechen. Die Belege deuten darauf hin, dass die Nachvollziehbarkeitsgewinne nicht zum Nachteil der Genauigkeit erkauft werden.

Für die industrielle Bereitstellung bedeutet die Entkoppelung von aktiverter Berechnung und gespeicherten Experten, dass der Rechenaufwand auch bei wachsendem Aufgabenportfolio kontrollierbar bleibt. Das ist für Szenarien relevant, die fortlaufend neue Fähigkeiten erfordern. Explizites Routing macht das Modellverhalten zugleich nachvollziehbarer und stützt so das Vertrauen in hochzuverlässige Bereiche wie Videoverständnis und Prozessanalyse. Für die Open-Source-Community liefert die Verbindung des Decoder-Ansatzes großer Sprachmodelle mit aufgabenbezogenen Expertenmechanismen eine wiederverwendbare Architekturvorlage für künftige Arbeiten.

Ausblick

Die Arbeit etabliert das aufgabenstrukturierte Routing als nachvollziehbare und recheneffiziente Dekodierungslösung für mehrstufiges Video-Sprachlernen. Indem sie zeigt, dass aufgabenbezogene Experten mit Routing auf Probe-Ebene unter identischer Topologie sowohl dense als auch lernbar-spärliche Alternativen schlägt, bietet sie eine konkrete Gegenoption zum derzeit bei spärlichen Expertensystemen dominierenden, intransparenten Routing.

Die vielversprechendste Richtung führt zum Hochfahren auf Systeme, die über Zeit viele Aufgabenfähigkeiten ansammeln müssen. Weil die aktivierte Berechnung nicht mit der Anzahl der gespeicherten Experten wächst, eignet sich die Architektur besonders für Produkte, die wiederholt neue Funktionen hinzufügen, ohne dass der Aufwand proportional steigt. Das explizite Routing stützt zugleich die Bereitstellung in regulierten oder sicherheits sensiblen Bereichen, in denen Nachvollziehbarkeit gefordert wird.

Über das Video-Hinaus könnte sich der Ansatz auf beliebige Aufgaben-übergreifende bedingte Berechnung erweitern, wo geteilte Repräsentationen nebeneinander distincte Schlussfolgerungspfade dulden. Ob die Gewinne auch bei größeren Backbones und vielfältigeren Aufgabenmischungen Bestand haben, muss sich noch zeigen, doch die aktuellen Ergebnisse legen ein glaubwürdiges Fundament, die Aufgabenstruktur als gleichberechtigtes Konzeptionsprinzip in Decoder-Architekturen zu behandeln.