IBM、音声認識と意思決定アダプターを更新したGranite Switch 4.1.1を公開

10月29日はIBMのブログ掲載日で、モデルカードは4.1.1改訂版の公開日を10月27日と記す。IBMは4.1との後方互換性を述べ、変わらない基盤モデルは再計算していないと説明する。IBMの10月29日のブログは、Granite Speechの音声認識更新が句読点と大文字を含め十言語に対応し、DecisionアダプターのJev Decision Indexでの全体成績も改善したと述べる。一方、Granite Switch 4.1.1-30bのモデルカードは4.1.1の音声カスケードに英・仏・独・西・葡・伊・日の七言語だけを列挙する。両公式資料の範囲は未照合で、このcheckpointが十言語に対応すると保証できない。 Decision改善の得点や独立測定値は示されていない。本サイトの刊期は11月2日である。

Switchの構造では、基盤モデルと専門的なアダプターを分け、組み合わせて一つの端点で扱う。IBMは今回、変わらない基盤部分を再計算せず、新しい音声認識モデルとDecisionアダプターのみを学習したという。後方互換性は企業による版の関係の説明であり、利用するアプリの入出力、参照先、性能まで自動的に保証するものではない。修正番号の更新にも運用上の危険はある。転写の句読点や大文字が変われば後段の固有名詞抽出に影響し、Decisionアダプターが変われば判断のしきい値付近で結果が変わり得る。組み合わせを交換できるからこそ、各回答がどの正確な版で作られたか記録したい。

音声の選定ではブログの十言語という説明と4.1.1-30bモデルカードの七言語を分けて扱う。どちらか一方をcheckpointの実測済み全範囲と決めず、版と言語ごとにIBMへの確認と手元の音声試験で確かめる。ただし各言語、方言、騒音、専門用語で同等の認識精度を証明したわけではなく、言語別の単語誤り率も示していない。評価者は自分の音声集合を使い、言語と場面ごとに数字、名前、文の切れ目、大文字を測る必要がある。下流の要約や判断が転写を入力にしているなら、その結果の変化も確認する。従来の流れに句読点の補正処理があっても、回帰試験なしで取り除くべきではない。音声や転写文に機密が含まれる場合は保存とアクセスを別途審査する。

Decisionアダプターの成績についてはさらに慎重な表現が必要だ。IBMはJev Decision Indexのテスト集合で「全体的な改善」を述べるが、以前の得点、重み、標本数、失敗の種類を公開していない。したがって「より正確」と書く場合にも、このテストについてIBMが報告したことを明示し、あらゆる判断作業へ広げない。採用者は旧版と新版に同じ入力、しきい値、採点法を適用し、平均値だけでなく誤検出や見落としを調べるべきだ。金融、医療、安全に関わる行動を自動実行するなら、人の確認と追跡できる記録を残し、修正更新を理由に権限を拡大しない。

今回の発表には、部品ごとに更新する運用上の考え方もある。変わらない基盤を固定し特定のアダプターだけを交換すれば、毎回すべてを学習し直す必要を減らせる可能性がある。ただし基盤を再計算しなかったという説明はIBM側の今回の構築過程であり、すべての顧客の移行費用がゼロという約束ではない。基盤モデル、音声モデル、Decisionアダプター、読み込みライブラリの版を固定し、試験環境で互換性と性能を調べてから段階的に流量を移す。出力形式、遅延、メモリ、エラー率が事前基準を超えれば以前の組み合わせへ戻せるようにする。同じ名称が異なる実体を指さないか、共有端点とキャッシュも確認したい。

IBMは開発者や第三者が自分のアダプターを作るための講座とAdapter SDKを準備中だと述べる。これは将来の計画であり、SDKが既に正式提供されているという発表ではない。現時点で公開されたモデルとSpeech-to-Decisionsの実演は試せるが、実演と第三者アダプターの本番向け配布基盤は分けて考える。後にSDKが登場しても、ライセンス、互換性、配布物の出所と署名、試験の方法を確かめてから導入する必要がある。

ブログは十言語と述べるが4.1.1-30bのカードは七言語を列挙し、差は未照合である。このcheckpointの十言語対応を保証せず、固定した版を必要な言語で試しIBMに確認したい。後方互換性も専門語彙、標本化、地域や許諾条件への適合を証明しない。

今回の実質は、二つの識別可能な部品更新と基盤モデルの再計算を避ける公開手順である。チームは版の固定、同条件の測定、戻せる展開で自分の課題への効果を判断し、公開されていない数値を補ってはならない。