Inflectionの調査、合成回答者と実ユーザーの回答に平均約22ポイントの差

Inflection AIは2026年10月30日、米国の実際のAIチャットボット利用者1003人の回答と、モデルが作った六つの合成回答者集団を比べた研究を公開した。Claude、ChatGPT、Geminiの三つのモデルに二種類の調査方法を組み合わせたところ、選んだ設問で実際の回答との平均差は約22パーセントポイント、最も近い合成集団でも約19ポイントだったという。この数字は研究の対象者と設問に限られ、あらゆる合成調査の一般的な誤差率ではない。本サイトの発行日は11月2日だが、研究の公開日を変更するものではない。

合成回答者とは、人口統計、習慣、意見などを模した人物としてモデルに回答させる手法である。人を募集する前に設問の表現や仮説を素早く試せる利点がある一方、文章が自然に見えることと人間の回答分布を再現することは別の問題だ。比較対象の1003人は米国のチャットボット利用者であって、米国の全住民をそのまま代表する集団とは限らない。三つのモデルと二つの方法から六集団が生まれたこと自体、合成回答者が一つの固定された測定器ではないことを示す。モデルや指示、対話の構成を変えれば、設問が同じでも結果が変わり得る。

差が目立ったのは、インターネットで十分に記録されていない日常の行動だった。前週に有線イヤホンを使った人は実際の回答者で44％、合成回答者で6％だった。誰かと音楽を聴いた割合は45％対2％、誰かとポッドキャストを聴いた割合は16％対ほぼ0％である。調査対象の行動をまとめると、オンラインでよく記録された行動の平均誤差は約6ポイント、記録の少ない行動では約33ポイントだったという。ただしこの二つは今回選ばれた行動群の平均であり、将来の質問に機械的に適用できる補正値ではない。

利用者があるチャットボットを使わなくなった理由にも違いが見られた。実際の回答者の9.9％は企業の行動、プライバシー、政治的偏り、環境への影響など、価値観に関わる反対を挙げた。六つの合成集団ではその割合が1.1％だった。モデルが落ち着いた一般的な理由をもっともらしく作れても、特定企業への不信や批判を見落とす可能性がある。顧客の声の代わりとしてそのまま使えば、評判に関わる問題を過小評価するだろう。すべてのモデルがすべての価値観に関する設問で同じように失敗すると証明されたわけではない。

市場全体の見え方もモデルによって異なった。実際の回答者は有意に利用したチャットボットを13種類挙げたが、一つの合成条件は11種類、別の条件ではわずか4種類だった。複数の質問にわたり仮想人物の設定を保つ方法は一部の回答を改善したものの、全体の正確さを安定して改善したわけではない。長い会話をさせただけで検証が済んだとは言えない。研究者はモデルの版、指示文、人口属性、質問順、実際の標本の選び方と採点方法を残し、設問ごとのずれとモデル間のばらつきを公開すべきだ。

合成調査にも適切な用途はある。設問が誤解されないかを試し、仮説を洗い出し、人による追加調査が必要な分野を探す助けにはなる。しかし製品の発売、価格、安全対策のような影響の大きい判断は、透明な抽出方法を持つ実際の調査や面談で確認したい。新しい生活習慣、少数派の経験、企業への信頼などは既存のウェブ情報が乏しく偏りやすい。報告には集団ごとの人数、絶対的なポイント差、不確実性とモデル間の差を含め、平均値一つだけで結論を出さないことが重要である。

百分率とパーセントポイントの区別にも注意が必要だ。44％と6％の差は38パーセントポイントであり、単に38％の相対誤差という意味ではない。平均22ポイントという値も、すべての設問が同じだけ外れたことを示さない。設問別の表や標本の重み付けがなければ、第三者が総合値を再計算するのは難しい。

この研究は、人間らしく聞こえる回答と実際の人間集団を統計的に再現する回答を区別した点に価値がある。合成集団は初期の探索を補助できるが、この比較では実際の回答者の代わりにはならず、精度向上を主張するなら同じ設問と標本による対照が必要だ。