TIDES：入力依存をステップ幅から状態行列へ移し、選択的状態空間モデルに時間認識を与える
TIDES は選択的状態空間モデル（SSM）の一種です。Mamba では離散化のステップ幅が入力に依存するため、ステップ幅が時間間隔と内容ゲートの二役を担い、不規則なタイムスタンプを正しく扱えません。TIDES は入力依存をステップ幅から対角の状態行列へ移し、ステップ幅を実際の時間差に一致させます。これにより不規則サンプリングを自然に扱いつつ、トークンごとの選択性も保ちます。UEA 分類と Physiome ODE 回帰で最良の平均順位を報告し、不規則な 8 データセット中 6 つで基準と同等以上でした。
状態空間モデル（SSM）は、Transformer に代わる有力な路線として注目されています。S4 や S5 は系列を連続時間線形システムのサンプルとみなし、推論コストは系列長に対して線形に増えます。Mamba はそこに選択機構を加え、パラメータを入力に応じて変化させました。これにより、何を覚え何を忘れるかを内容で決められます。ただし選択性には、あまり語られない副作用があります。実時間に対するモデルの感覚が曖昧になることです。論文 TIDES はまさにこの点を扱います。著者は Taylan Soydan、Miguel A. Bessa、Dirk Mohr、Rui Barreira の 4 名で、2026 年 5 月 10 日に arXiv へ投稿され、10 月 5 日に第 2 版へ更新されました。 問題は離散化のステップ幅にあります。Mamba ではステップ幅 Δ が現在の入力から生成されます。Δ は二つの役を同時に担います。一つは二つの観測の間の時間間隔、もう一つは記憶の減衰速度を決める内容ゲートです。サンプリングが等間隔なら、二役が混ざっても大きな害はありません。実際の間隔がどのステップでも同じだからです。しかしタイムスタンプが不規則になると、本当の時間差がモデルに入る場所がなく、ネットワークはデータから暗黙に推測するしかありません。これが題名にある「暗黙の時間認識」の意味です。Mamba は時間に反応しますが、それは暗黙的で、物理的な制約がなく、内容の信号とも絡み合います。S5 は逆の設計です。ステップ幅が実際の時間間隔に対応するので不規則サンプリングを自然に扱えますが、力学が線形時不変のため、トークンごとの表現力に限界があります。
TIDES の核心は、要旨の言葉を借りれば、入力依存をステップ幅から外し、対角の状態行列へ移すことです。ステップ幅は物理的な時間間隔に等しいまま保たれるので、不規則なタイムスタンプが自然に扱われます。入力依存は状態行列の対角成分が担うため、各トークンの選択性も残ります。要するに、時間は時間に、内容は内容に任せる設計です。一つの変数に押し込められていた二つの要求が、二つの変数に分かれました。 離散化の式で解釈してみます。ただし、これは要旨からの推論であり、具体的なパラメータ化、安定性の条件、初期化は論文本文と公開コードで確認してください。対角の連続系をゼロ次ホールドで離散化すると、各状態チャネルの減衰係数は exp(Δ·a) になります。Mamba では a は固定の負の実数で、Δ(x) が入力で変わるため、係数は exp(Δ(x)·a) です。TIDES では Δ が実際の時間差 t_k − t_{k−1} に等しく、a(x) が入力で変わるため、係数は exp(Δ·a(x)) です。等間隔なら両者は似た形ですが、不規則だと違いが出ます。TIDES では減衰が実際の間隔に応じて自動的に拡縮し、間隔が長いほど既定で多く忘れ、その速さは内容が決めます。モデルは時間をデータから逆算する必要がなくなり、時間が構造の一部になります。
結果については、要旨に明記された内容だけを引用します。著者らはまず Fading Flash という小さな統制診断タスクを用意し、時間認識という能力だけを切り出して、SSM ごとの差を調べました。そのうえで TIDES は UEA 時系列分類と Physiome ODE 回帰の両ベンチマークで、新たな最良の平均順位を得ました。天文、農業、ニューロモルフィックセンシング、気候イベントにわたる自然に不規則な 8 データセットでは、6 つで参照基準と同等以上でした。確認できた要旨には精度、遅延、パラメータ数の具体値がなく、本稿もそれらを作り出しません。正確なコストと性能のトレードオフは、論文の表で確認し、自分で再現してください。 開発者や企業にとっての価値は、不規則サンプリングの場面にあります。患者モニタリングの間欠的な検査、金融のティック単位のイベント、欠落や非同期で届くセンサー、イベントカメラの出力、天文観測の不均一な露出などです。従来は、等間隔の格子に補間する方法（偏りが入る）か、時間差を追加特徴として連結してネットワークに学ばせる方法が一般的でした。TIDES は第三の道として、時間差を離散化に直接組み込み、構造で保証します。コードは GitHub の TaylanSoydan/TIDES で公開されています。線形時間の再帰型である点は変わらないため、推論コストは Mamba と同程度と期待されますが、要旨からは分からず、実測が必要です。 限界もあります。第一に、要旨は 8 データセット中 6 つと述べており、残り 2 つでは基準に届かなかったことになります。適用範囲はデータの性質で変わります。第二に、信頼できるタイムスタンプが前提で、ノイズや欠損があると効果は下がります。第三に、選択性を対角行列に置いても状態チャネル間の結合はなく、表現力の上限は未検証です。第四に、並列スキャンのカーネルが Mamba の高度に最適化された実装と同等の速度を出せるかは、工学的な検証が必要です。今後は大規模言語モデルとのハイブリッド、複数時間スケールのモデリング、連続時間のイベントストリームが考えられます。全体として TIDES は小さく明快な構造修正であり、不規則時系列を扱うチームは試す価値があります。