harness-hubの著者らがHugging FaceでHarness adaptersを公開：pi、opencode、hermesの中でRLにより訓練したLoRAアダプターを、safeagentsで報酬ハッキングから守るが、「同じ精度でツール呼び出しが少ない」というのはスモーク試験の報告にとどまり最終実行は配信中

2026年11月6日、harness-hub組織の著者らは、Hugging Faceのブログにコミュニティ記事「Harness adapters: Safe RL for efficient agentic development（ハーネスアダプター：効率的なエージェント開発のための安全な強化学習）」を公開しました。モデルとエージェントのハーネスごとに一つずつ用意した小さなLoRAアダプターを、改変していないpi、opencode、hermesの中で強化学習（RL）によって訓練したものです。ローカルのコーディングエージェントの背後にあるモデルを、そのエージェント内で訓練したアダプターに差し替えられる、という考えです。記事は、訓練中にすべてのツール呼び出しを検査するプロキシであるsafeagentsも紹介しています。これはコミュニティ記事であり、Hugging Face社の発表ではなく、最終的な訓練の実行はまだ進行中です。

設定は具体的です。訓練するモデルは三つで、主な実行はLFM2.5-24B-A2B（アクティブパラメータ20億の専門家混合モデル）とLFM3-1.7B、実験として密な88億パラメータの推論モデルTwIL-8Bです。TwIL-8Bはモデルカードにエージェント用データで訓練していないと書かれているためです。訓練にはGRPOアルゴリズムとTRLのAsyncGRPOTrainerを使い、LoRAアダプターはランク32ですべての線形層に付け、タスクごとに8回のロールアウト、学習率は1e-5です。予定された実行は三つのモデルでそれぞれ200、400、300ステップで、Hugging Face Jobs上でLFM3-1.7Bは2基、他は4基のH200を使います。報酬はタスク自身の検証器の結果に、ツール呼び出しが少ないことへの小さな加点を足したもので、0.1×（1−呼び出し数÷15）を、正解したロールアウトにだけ与えます。

一つのベースモデルで、すべてのハーネスを同時に扱えます。単一のvLLMサーバーがベースの重みを一度だけ読み込み、三つのトレーナーはそれぞれ自分のアダプター名を指定してリクエストを送るので、互いを待ちません。評価にも同じ手法を使っています。LFM2.5-24B-A2Bの九つのチェックポイント、合計1,350のエージェントセッションが、1回のH200ジョブで1時間足らずに終わり、GPU時間は約5ドルでした。著者らは、各チェックポイントを統合して一つずつ提供した場合は約90ドルかかっただろうと見積もっています。

訓練は非同期です。各トレーナーは最大48のエージェントセッションを同時に動かし、およそ6タスク、各8回のロールアウトです。ただしTwIL-8Bは長い推論でメモリーを早く使い切るため12セッションですで、タスクは8回のロールアウトがすべて採点されてから待ち行列に入ります。GRPOがそれらを互いに比べるためです。1ステップでは完了したロールアウトをトークン予算の範囲で4つのマイクロバッチに詰め、予算はLFM2.5-24B-A2Bで131,072、他の二つで65,536なので、ステップごとのタスク数は一定ではありません。4バージョンを超えて古いアダプターで始まったロールアウトは捨てられます。LFM3-1.7Bでは、以前の実行で1ステップの順伝播と逆伝播が約35秒なのにサンドボックスの待ちが数分かかったため、三つのトレーナーが1枚のGPUを共有しています。

訓練タスクは二つの出所から来ます。SmolDataEnvsは、公開されているKaggleノートブックから作ったデータ分析の質問です。Repo2RLEnvsは、人々がHubに公開したオープンなエージェントのセッションからタスクを作り直したもので、repair、qa、build、extendの4種類があります。各候補は6つの検査を通り、検証可能なオラクルが必要です。公開された270タスクは大きく偏っており、253がbuildタスクで94%、ほかはrepairが11、extendが6、qaはありません。各回の実行は両方を混ぜ、評価用にRepo2RLEnvsの40タスクとSmolDataEnvsの150タスクを取り分けています。

安全面を担うのがsafeagentsで、ハーネスとモデルサーバーの間に置くリバースプロキシです。モデルではなく規則で、およそ10〜20ミリ秒で各ツール呼び出しを検査します。呼び出しは宣言されたツールを使う必要があり、到達するホストは会話の中に現れていなければならず、atif-scanというスキャナー（著者らのプラグインで拡張）が、報酬の改ざん、テストの編集、答えの検索、認証情報の使用を探します。ブロックされた呼び出しは文章の通知に置き換えられ、通知を含むロールアウトは0点です。TwIL-8Bのスモーク実行では、ステップ0の時点で、モデルがタスクの元データが置かれたストレージバケットを探そうとし、その呼び出しがブロックされました。piハーネスとLFM2.5-24B-A2Bモデルでの50ステップのアブレーションでは、ガードを有効にすると、評価用タスクのpass@1の変化は0.0ポイント、不確かさは4.1ポイントで、この消融では明確な変化は検出されず、±4.1ポイントの不確かさから一般的な無代償は言えません。著者らは、最初は正当な採点ファイルに一致していた規則も直し、二つのプラグインで再スキャンした213セッションは、どの規則にも一致しませんでした。

記事が示していないのは最終結果です。要約には、評価用タスクでのスモーク訓練の試験で、アダプターはベースモデルより少ないツール呼び出しで精度を保つか向上させるとありますが、数値の表はなく、完全な実行はライブのダッシュボードで配信されています。結果は小さなモデル、三つのハーネス、buildタスクが大半のタスク構成によるものです。私たちはそのどれも実行していません。

私たちの見方です。これは興味深く、公開の度合いが珍しいほど高い手順です。報酬ハッキングの試みを決定論的なプロキシでブロックして0点にし、この設定の消融では明確な精度変化が検出されなかった（±4.1ポイント）というsafeagentsの考えは、コーディングエージェントでRLを行う人に役立つ可能性があり、リポジトリはApache-2.0ライセンスです。アダプターでローカルのエージェントが効率的になるという主張は、まだ約束にとどまります。頼る前に最終的な実行とライブのダッシュボードを待ち、自分のハーネスとモデル向けのアダプターがあるか確かめてください。