PACE-Bench：動的物理環境におけるコード進化と適応ベンチマーク
本論文では、物理環境の動的変化後の自己進化エージェントの適応能力を評価するためのシミュレーターベースのベンチマーク、PACE-Bench を提案する。このベンチマークは6つの物理分野にわたる144組のソースからターゲットへの適応ペアを含み、エージェントは限られた試行予算内で、診断サンドボックスのフィードバックを利用して、ソース環境で成功したコード設計を突然変異したターゲット環境に反復的に適応させる必要がある。研究では4つのパラダイムからの10種の自己進化手法を比較し、ベンチマークが飽和していないことを示した：ReflexionとQwen3-14Bの組み合わせはタスクの35.9%しか解決できない一方、GPT-5.5は静的部分集合で66.7%に達した。結果は、シミュレーターベースの省察は未検証の自己修正よりも信頼でき、記憶メカニズムはエージェントを初期設計に固定しがちであり、広範な木探索は広く探索するが収束が困難であることを示している。正確な物理変化を明らかにしても性能の上限は向上せず、パラメータ推論ではなくメカニズムの再設計が核心のボトルネックであることを示唆している。
背景と概要
自己進化エージェントの研究は、インタラクション経験から未来の行動を改善する方法に焦点を当ててきましたが、既存の評価体系は固定された実行条件に限定されることが多く、環境が急変した後の回復力や適応力を十分に検証できていませんでした。このギャップにより、エージェントが真の動的変化に対する堅牢性を備えているかどうかを判断することが困難でした。この空白を埋めるため、本論文ではシミュレーターベースのベンチマークである PACE-Bench（Physics Adaptation via Code Evolution）を提案します。このベンチマークは、6つの異なる物理分野にわたる144組のソースからターゲットへの適応ペアで構成されており、各ペアはソース環境と突然変異したターゲット環境を、同じ目標とインターフェースを維持した形で結びつけています。
この設計は、タスクの一貫性を保ちつつ環境パラメータの変化を導入することで、エージェントがソース環境での成功戦略を単純に再利用するのではなく、実質的な適応を行うことを強制します。コアとなる課題は、ソース環境で成功したコード駆動型の設計が、ターゲット環境では往々にして失敗することです。エージェントは限られた試行予算の中で、診断サンドボックスからのフィードバックを利用し、コードを反復的に修正してターゲット環境で実行可能な設計にしなければならないという点です。
深掘り分析
技術的な面では、PACE-Bench はコード駆動型の設計パラダイムを採用し、パラメータ調整ではなくコード修正による適応を強調しています。エージェントは診断サンドボックスと相互作用し、設計が失敗した原因に関するフィードバックを取得して、コードを反復的に最適化します。このメカニズムは、エージェントが単純な記憶や模倣を超えて、エラーから学習し推論する能力を要求します。本研究では、単純な自己省察から複雑な木探索まで、4つの異なるパラダイムからの10種類の自己進化手法を比較しました。これらには Reflexion、記憶ベースのアプローチ、広範な木探索などが含まれます。
実験結果は、PACE-Bench が飽和状態に遠く達していないことを示しており、この分野にはまだ大きな改善の余地があることを示唆しています。具体的には、Reflexion と Qwen3-14B モデルの組み合わせは、完全なベンチマークにおいて適応ペアのわずか 35.9% しか解決できませんでした。一方、GPT-5.5 は静力学（Statics）部分集合において、完全な予算内で 66.7% の成功率を達成しました。これらの数値は、最先端のモデルであっても、動的な環境変化に対処する際には依然として重大な課題に直面していることを明確に示しています。
業界への影響
アブレーションスタディは、異なるメカニズムが性能に与える影響をさらに明らかにしています。シミュレーターベースの省察は、未検証の自己修正よりも信頼できることが示されました。前者は具体的なフィードバック情報を提供し、エージェントが問題を正確に特定するのを助けるためです。対照的に、記憶メカニズムはエージェントを初期の設計に固定する傾向があり、環境変化後に局所最適解から抜け出すことが困難になります。広範な木探索はより多くの可能性を探求できますが、収束性に欠けることが多く、限られた予算内で最適解を見つけられません。
重要な発見として、エージェントに正確な物理変化を明らかにしても、性能の上限は大きく向上しませんでした。この結果は、動的環境におけるエージェント適応のコアとなるボトルネックは、単純なパラメータ推論ではなく、メカニズムの再設計にあることを指しています。これは、エージェントが既存のパラメータを調整するだけでなく、より高度な抽象化と再構成の能力を必要とすることを意味します。PACE-Bench の導入は、オープンソースコミュニティや産業への実装において深い意義を持ち、研究者が動的環境下での異なる自己進化手法を公平に比較するための標準化された評価プラットフォームを提供します。
今後の展望
今後の研究では、エージェントの適応能力を高めるために、モジュール化設計や動的アーキテクチャ調整などのより高度な抽象化メカニズムを探求する必要があるかもしれません。PACE-Bench の知見は、現在の手法が複雑な動的変化に対処するには不十分であることを示しており、エージェント設計における新しいパラダイムの必要性を浮き彫りにしています。パラメータ推論に頼るのではなく、メカニズムの再設計を実行する能力は、予測不可能な環境で効果的に動作するエージェントを開発するために不可欠です。
分野の進歩に伴い、シミュレーターベースのフィードバックと高度な推論能力の統合は、標準的なプラクティスとなる可能性が高いです。このベンチマークがコード進化に焦点を当てていることは、理論的なモデルを超えて実用的な実装へと移行し、エージェントの性能を向上させるための具体的な道筋を提供しています。メカニズム再設計というコアとなるボトルネックに対処することで、研究者は自己進化エージェントにおいて新たなレベルの適応性と堅牢性を解き放つことができます。この仕事は、現実世界の複雑さに応答できるインテリジェントシステムを構築するための基盤を築いています。