TIDES: Eingabeabhängigkeit vom Zeitschritt auf die Zustandsmatrix verlagern, damit selektive SSMs Zeit nativ verstehen
TIDES ist ein selektives Zustandsraummodell (SSM), das eine stille Schwäche von Mamba behebt. In Mamba hängt die Diskretisierungsschrittweite von der Eingabe ab. Sie ist damit zugleich Uhr und Inhaltsgatter, und echte Zeitstempel finden keinen Platz. TIDES verlagert die Eingabeabhängigkeit von der Schrittweite auf die diagonale Zustandsmatrix. Die Schrittweite entspricht dann dem realen Zeitabstand, unregelmäßige Abtastung wird nativ verarbeitet, und die Selektivität pro Token bleibt erhalten. Die Autoren berichten den besten mittleren Rang bei UEA und Physiome ODE sowie Gleichstand oder Vorsprung gegenüber der Referenz auf 6 von 8 unregelmäßigen Datensätzen.
Zustandsraummodelle (SSMs) gehören zu den meistbeachteten Alternativen zum Transformer. S4 und S5 behandeln eine Sequenz als Abtastwerte eines zeitkontinuierlichen linearen Systems, und ihre Inferenzkosten wachsen linear mit der Sequenzlänge. Mamba fügte einen Selektionsmechanismus hinzu: Die Parameter ändern sich mit der Eingabe, sodass das Modell nach Inhalt entscheidet, was es behält und was es vergisst. Diese Selektivität hat eine wenig beachtete Nebenwirkung. Das Gespür des Modells für echte Zeit wird unscharf. Die Arbeit TIDES: Implicit Time-Awareness in Selective State Space Models greift genau das auf. Autoren sind Taylan Soydan, Miguel A. Bessa, Dirk Mohr und Rui Barreira. Sie wurde am 10. Mai 2026 bei arXiv eingereicht und am 5. Oktober 2026 als Version 2 überarbeitet. Das Problem liegt in der Diskretisierungsschrittweite. In Mamba wird die Schrittweite, meist delta genannt, aus der aktuellen Eingabe erzeugt. Sie hat zwei Aufgaben zugleich. Sie ist der Zeitabstand zwischen zwei Beobachtungen, und sie ist das Inhaltsgatter, das die Zerfallsgeschwindigkeit des Gedächtnisses setzt. Bei regelmäßiger Abtastung schadet diese Vermischung wenig, weil jeder reale Abstand gleich ist. Sind die Zeitstempel unregelmäßig, hat der wahre Abstand keinen Eingang ins Modell. Das Netz muss ihn aus den Daten erraten. Das meint „implizite Zeitwahrnehmung“ im Titel: Mamba reagiert auf Zeit, aber nur implizit, ohne physikalische Bindung, und das Zeitsignal kann sich mit dem Inhaltssignal verknoten. S5 macht es umgekehrt. Seine Schrittweite folgt dem realen Abstand, daher verarbeitet es unregelmäßige Abtastung nativ, doch seine Dynamik ist linear und zeitinvariant, was die Ausdruckskraft pro Token begrenzt.
Die zentrale Änderung in TIDES besteht laut Zusammenfassung darin, die Eingabeabhängigkeit von der Schrittweite zu lösen und auf die diagonale Zustandsmatrix zu legen. Die Schrittweite bleibt gleich dem physikalischen Zeitabstand, daher werden unregelmäßige Zeitstempel nativ verarbeitet. Die Eingabeabhängigkeit tragen die Diagonalelemente der Zustandsmatrix, daher bleibt jedes Token selektiv. Kurz gesagt: Zeit bleibt bei der Zeit, Inhalt beim Inhalt. Zwei widerstreitende Anforderungen, die in einer Variablen steckten, liegen nun in zwei Variablen. Eine Erklärung über die Diskretisierung hilft, mit einem Vorbehalt: Es ist eine Schlussfolgerung aus der Zusammenfassung. Die genaue Parametrisierung, Stabilitätsbedingungen und Initialisierung sind in der Arbeit und im veröffentlichten Code zu prüfen. Nach der Diskretisierung mit Zero-Order-Hold hat ein diagonales kontinuierliches System pro Zustandskanal den Zerfallsfaktor exp(delta mal a). In Mamba ist a eine feste negative Zahl und delta(x) ändert sich mit der Eingabe, der Faktor ist also exp(delta(x) mal a). In TIDES ist delta der reale Zeitabstand t_k minus t_(k-1), und a(x) ändert sich mit der Eingabe, der Faktor ist exp(delta mal a(x)). Bei regelmäßiger Abtastung sehen beide Formen ähnlich aus. Bei unregelmäßiger Abtastung unterscheiden sie sich: In TIDES skaliert der Zerfall automatisch mit dem wahren Abstand. Je länger die Pause, desto mehr wird standardmäßig vergessen, und der Inhalt bestimmt die Rate. Das Modell muss Zeit nicht mehr aus Daten ableiten. Zeit wird Teil der Struktur.
Zu den Ergebnissen zitieren wir nur, was die Zusammenfassung nennt. Die Autoren bauten zuerst eine kleine kontrollierte Diagnoseaufgabe namens Fading Flash, die Zeitwahrnehmung isoliert, damit verschiedene SSMs allein an dieser Fähigkeit verglichen werden können. Danach erreichte TIDES einen neuen besten mittleren Rang beim UEA-Benchmark zur Zeitreihenklassifikation und beim Physiome-ODE-Regressionsbenchmark. Auf 8 von Natur aus unregelmäßigen Datensätzen aus Astronomie, Landwirtschaft, neuromorpher Sensorik und Klimaereignissen erreicht oder übertrifft TIDES die Referenz auf 6. Die gelesene Zusammenfassung nennt weder Genauigkeitswerte noch Latenz oder Parameterzahlen, und dieser Artikel erfindet sie nicht. Für den genauen Kosten-Nutzen-Vergleich sind die Tabellen der Arbeit zu lesen und die Läufe nachzustellen. Für Entwickler und Unternehmen liegt der Wert bei unregelmäßiger Abtastung: sporadische Laborwerte in der Patientenüberwachung, Tick-Ereignisse im Finanzwesen, Sensoren mit Ausfällen oder asynchroner Meldung, Ausgaben von Ereigniskameras und ungleichmäßige astronomische Belichtungen. Übliche Auswege sind die Interpolation auf ein regelmäßiges Gitter, die Verzerrung einführt, oder das Anhängen des Zeitabstands als zusätzliches Merkmal, dessen Nutzung das Netz selbst lernen muss. TIDES bietet einen dritten Weg: den Zeitabstand direkt in die Diskretisierung legen und strukturell garantieren. Der Code liegt auf GitHub unter TaylanSoydan/TIDES. Da das Modell weiter ein rekurrentes Design mit linearer Laufzeit ist, sollten die Inferenzkosten nahe an Mamba liegen, doch das muss gemessen werden und ergibt sich nicht aus der Zusammenfassung.
Die Arbeit hat Grenzen. Erstens spricht die Zusammenfassung von 6 aus 8 Datensätzen, auf 2 erreicht das Modell die Referenz also nicht, und die Einsatzgrenze hängt von den Dateneigenschaften ab. Zweitens setzt die Methode verlässliche Zeitstempel voraus; verrauschte oder fehlende mindern den Gewinn. Drittens lässt die Selektivität auf einer Diagonalmatrix die Zustandskanäle ungekoppelt, die Obergrenze der Ausdruckskraft ist ungeprüft. Viertens ist offen, ob ein paralleler Scan-Kernel die Geschwindigkeit der stark optimierten Mamba-Implementierung erreicht. Künftige Richtungen sind Hybride mit großen Sprachmodellen, Mehrskalenmodellierung und zeitkontinuierliche Ereignisströme. Insgesamt ist TIDES eine kleine, klare Strukturkorrektur, die Teams mit unregelmäßigen Zeitreihen ausprobieren sollten.