Cockroach Labs：5か月間、バグを患者に、コーディングエージェントを医療チームに見立てて

4月のある水曜日の夜から金曜日の午後までの間に、Cockroach Labs がデータベースを CockroachDB へ移行するために提供しているツール MOLT は、IBM Db2 からの移行に対応した。Db2 は商用リレーショナルデータベースの草分けの一つで、SQL 方言は豊富であり、型システムは複雑で、独自のワイヤプロトコルも持つ。MOLT で対応するには、新しいスキーマ変換器、行を取り出して CockroachDB へ投入する新しい Fetch 経路、投入後にデータを突き合わせる新しい Verify 経路、組み込みの ANTLR 文法、CI 用の Docker イメージ、そして1万行を超えるテストフィクスチャが必要だった。2024年に MOLT へ Oracle 対応を加えたときは、同等の作業に9か月かかり、エンジニアリング費用は約16万ドルだった。今回の Db2 は2日足らずで完了し、人間はコードを1行も書いていない。トークン代は4172ドルで、速度は164倍、費用は38分の1である。

出発点は、要望を記した GitHub issue がひとつあっただけだ。計画担当のエージェントがそれを読み、一度に扱うには大きすぎると判断して、15個のサブ issue に分解した。依存関係も明示されている。まず土台、次に型システム、行イテレータ、Fetch、Verify、Convert、CI、最後にテストデータという順序である。そのうち2つは、それぞれの作業見積もりの中でなお大きすぎると判定され、さらに分割された。作業の途中では、エージェントが自分たちの成果物に対して、さらに十数件の issue を起票している。内容は、フィクスチャの不足、型マッピングの不具合、分離レベルの修正などである。これらは人が見つけたものではなく、パイプライン自身が見つけ、記録し、キューに載せたものだ。仕事を分け、依存関係を明示することが、短時間で大きな課題をこなすための第一の鍵になっている。 このパイプラインの組織設計には、教育病院という比喩が使われている。バグは患者であり、コーディングエージェントは医療チームの各役割にあたる。トリアージ看護師は受付と一次選別を担い、問題の中身と大きさ、担当者を決める。フェロー（専攻医）は治療、つまり修正の実装を行う。レビューアテンディング（指導医）は厳格な審査で品質を守る。退院看護師は締めくくりとして、マージ前の確認と記録がすべて済んでいることを確かめる。この比喩の価値は、わかりやすさにあるのではない。ソフトウェア開発にもともとある分業と相互牽制を、誰もが知る医療の流れに載せて固定したことにある。書いた者が自分の成果を承認してはならないという原則は、病院では常識だが、エージェントのパイプラインでは意図して設計しなければ成立しない。 さらに重要なのは、いくつかの厳しい規律である。第一に、コードを書く前に計画を立て、その計画自体をレビューにかける。大量のトークンを使ってコードを生成する前に、誤った方向を止めるためだ。第二に、厳密なテストカバレッジはマージの前提であり、後付けではない。第三に、丁寧な記録を残す。判断も変更も痕跡を残すことは、診療録の作法であり、後から差し戻しの理由をたどる唯一の手がかりでもある。第四に、マージの前に安全のためのガードレールを置く。どれも地味な規則だが、エージェントが最も失敗しやすい点、つまり目的の取り違え、過信、成果に責任を持つ者の不在を、的確に押さえている。 信頼性を測る最も説得力のある指標は、差し戻しの回数だ。5か月の間に、このパイプラインは100万行を超えるコードを処理し、リバートはわずか7回にとどまった。自律的な出力とエンタープライズ級の信頼性は両立しうる。ただしそれは、信頼性をシステム構造の一部として組み込んだ場合の話であり、一つのモデルの賢さに期待する場合の話ではない。同じ仕組みは Migration Assistant のような機能も支えている。複雑なデータベース移行をエージェントが構築し保守するとき、計画レビュー、テストカバレッジ、完全な記録が、高くつく回帰を避ける主な手段となる。なお、ここで示された数字は Cockroach Labs 自身の経験値であり、Oracle の9か月と16万ドルという比較も同社の見積もりである。普遍的なベンチマークではなく、有力な一事例として読むべきだ。

業界にとってこの記事の意味は、問いの立て方を変える点にある。これまでは、どのモデルが最も上手にコードを書くか、が問われてきた。この事例が示すのは、より価値のある問いは、エージェントの集団をどう組織するかだ、ということである。医療チームのように役割を分け、相互にレビューし、記録を残し、失敗したときの責任の連鎖を明確にする。費用が9か月から2日へ、16万ドルから4000ドル余りへ下がると、ボトルネックはコーディングそのものから、要件の記述、タスクの分解、検収へ移る。同じ成果を目指すチームは、より強力なモデルを追う前に、分解の技術、レビューの手順、テスト基盤へ投資すべきだろう。