Ollama 0.40.11、ローカル音声とd3判断モデルを紹介

10 月 24 日の Ollama リリースのハイライト

Ollama は 10 月 24 日に v0.40.11 を公開しました。そのリリース ノートでは、macOS でのローカル音声生成と、d3意思決定モデル群の利用という 2 つの実用的な機能を強調しています。これは既存のオープンソース ランタイムのリリースであり、そのすべての新しいモデル パスがすべてのオペレーティング システムで動作するという証拠ではありません。音声ガイド自体には、Ollama v0.40.9 以降を実行するように記載されているため、v0.40.11 のメモは、音声がこの正確なパッチで最初に登場したことを証明するものではなく、現在のリリースのスポットライトとして読まれる必要があります。 Ollama の例では、テキスト読み上げに Phonon モデルを使用し、アプリケーション用の OpenAI 互換オーディオ エンドポイントを公開しています。

音声はストリーミングに対応し、入力長には上限がある

公式ガイドによると、テキスト全体が読み上げられる前に、生成されたサウンドの再生が開始される可能性があります。ターミナルでは、「ollama run phonon」はリテラルプロンプト、標準入力、またはチャットモデルの回答を読み取ることができます。出力がリダイレクトされる場合、コマンドはスピーカーで再生するのではなく、WAV ファイルを書き込みます。同じサーバーが `/v1/audio/speech` を公開します。アプリケーションは WAV または raw PCM をリクエストし、ストリームを段階的に消費できます。どちらのフォーマットも、24 kHz のモノラル 16 ビット オーディオとして文書化されています。ヘッダーの送信時にはストリームの長さが不明であるため、WAV ヘッダーのサイズ フィールドでは最大値が使用されます。この詳細は、再生または保存前に従来の最終的な長さを想定しているクライアントにとって重要です。

リクエストの入力制限は 4,096 文字です。 Ollama 氏によると、そのコマンドライン パスは段落と文の境界で長いテキストを分割しますが、API クライアントはリクエストごとの境界を考慮して計画する必要があります。サポートされていない速度、形式、または命令オプションは HTTP 400 を返し、不明な音声は利用可能な音声のリストとともに拒否されます。音声モデルは、通常のモデル エンドポイントを介してチャットや埋め込みリクエストに応答しません。 OpenAI 互換 URL は、リモート音声サービスのすべてのオプションが実装されることを意味するわけではないため、これらの失敗動作は統合テストに含める必要があります。 Phonon は Gradium 31M 英語チェックポイントと英語音声を使用します。このガイドは、広範な多言語の音声品質を主張していません。

d3 の用途

リリース ノートでは、vLLM セマンティック ルーターの意思決定モデルから派生したファミリーである d3 についても言及しています。 2B、4B、9B、27Bのサイズが記載されています。宣伝されたタスクは、無制限の会話ではありません。テキスト、構造化された状態、または画像を取得し、採点された選択肢、はいまたはいいえの判断、または評価を返すことです。モデル ライブラリには、状態と名前付きの質問を運ぶ「systemone」リクエストが示されており、その例では明示的な真と偽の基準が示されています。これにより、ルーティング ルール、レビューのトリアージ、または分類の決定を構造化された対応に変えることができます。従来の分類器と同様に、明確なルーブリックと評価データが必要です。

スコアは実際のワークフローに対する調整が必要です

チームが顧客メッセージが請求に関するものであるかどうかを d3 に尋ねた場合、その出力はチケットの発送に役立つ可能性があります。これは、ビジネス上の損害、詐欺、または顧客の意図の確率が自動的に調整されたものではありません。リリース ノートでは、モデルのサイズと機能の例が提供されており、ドメイン固有の調整研究は提供されていません。実稼働パイロットでは、代表的な保留サンプルにラベルを付け、d3 を単純なルールのベースラインと比較し、決定しきい値での精度、再現率、待ち時間、およびコストを記録する必要があります。意図が混在している場合やコンテキストが欠落している場合は、個別のエラー分析が必要です。画像が提供されている場合は、画質とプライバシー義務をテストします。画像入力を受け入れることは、特定の組織のデータ権利を検証するものではありません。

実際の魅力はローカル制御です。すべての「はい」または「いいえ」の質問に対して一般的なチャット モデルを呼び出すのではなく、小規模な意思決定モデルをアプリケーションの近くにデプロイできます。それが速いか安いかは、ハードウェア、バッチ サイズ、ランタイムの実行を維持するために必要な作業によって決まります。 Ollama のライブラリには複数のサイズがリストされているため、モデル サイズを変更しても、公正な比較により入力セットとルーブリック定数が保持されます。 d3 チェックポイントを大きくするとタスクが改善される可能性がありますが、メモリと待ち時間も増加します。リリース ページだけでは、あらゆるユースケースの普遍的な勝者が公開されるわけではありません。

実装者が確認すべきこと

音声の場合は、短い英語の一節から始めて、予想されるモデルがプルされていること、選択された音声が存在すること、生成が終了する前にオーディオが開始されること、および保存された出力がターゲット プレーヤーでデコードされていることを確認します。次に、長い段落、数値価格、およびサポートされていないパラメーターをテストします。このガイドでは、テキストの正規化により価格、数値、URL が正確に表示され、日付は書かれたとおりに読み取られると記載されています。これにより、リスナーが聞く内容とアプリケーションが表示する内容が変わる可能性があるため、アクセシビリティや規制されたメッセージングについては人間によるレビューが必要になります。特にサーバーがリモートにあり、スピーカーがクライアント マシンに属している場合は、端末の再生とは別にアプリケーション パスをテストします。

決定については、モデルに質問する前にラベルを定義し、評価に使用される正確なプロンプト、基準、モデル タグを保存します。すべてのスコアを取り消し不能なアクションの許可として解釈するのではなく、曖昧なケースを人間によるレビューのために保存しておきます。 2 つの機能はエージェント システムの異なる部分を占めます。音声は出力チャネルであり、d3 は狭い決定コンポーネントです。どちらもローカル ワークフローでは役立ちますが、v0.40.11 リリース ノートはテストの開始点であり、観察された信頼性の代わりとなるものではありません。この記事は 10 月 25 日号に掲載されます。このバージョンの GitHub リリース タイムスタンプは 10 月 24 日 (協定世界時) であり、音声ドキュメントには独自の広範なバージョン要件があります。