Inflection misst in seiner Studie im Mittel rund 22 Prozentpunkte Abstand zwischen synthetischen und echten Befragten

Am 30. Oktober 2026 veröffentlichte Inflection AI einen Vergleich der Antworten von 1.003 echten US-amerikanischen Nutzern von KI-Chatbots mit sechs synthetischen Befragtengruppen. Die Gruppen wurden mit Claude, ChatGPT und Gemini in zwei Befragungsverfahren erzeugt; bei den ausgewählten Fragen wichen ihre Schätzungen im Durchschnitt um rund 22 Prozentpunkte von den menschlichen Antworten ab, und selbst die beste Gruppe lag fast 19 Punkte daneben. Diese Zahlen gelten für die Stichprobe und die Fragen der Studie und sind keine allgemeine Fehlerquote jeder synthetischen Umfrage. Das Erscheinungsdatum dieser Ausgabe am 2. November ersetzt nicht den Tag der ursprünglichen Veröffentlichung.

Ein synthetischer Befragter ist eine durch ein Modell simulierte Person mit vorgegebenen demografischen Merkmalen, Gewohnheiten oder Meinungen. Solche Gruppen können Fragestellungen schnell prüfen und Hypothesen entwickeln, bevor echte Menschen rekrutiert werden. Plausibel klingende Sätze sind jedoch nicht gleichbedeutend mit einer repräsentativen Verteilung menschlichen Verhaltens. Die 1.003 echten Teilnehmer waren US-amerikanische Chatbot-Nutzer und nicht automatisch ein Abbild aller Einwohner der Vereinigten Staaten. Drei Modelle in zwei Verfahren ergeben außerdem sechs verschiedene Messkonfigurationen statt eines unveränderlichen Instruments namens „synthetische Nutzer“. Ein anderer Modellstand oder eine andere Eingabe kann bei identischen Fragen ein anderes Marktbild liefern.

Besonders groß waren die Unterschiede bei gewöhnlichen Tätigkeiten, über die das Internet weniger berichtet. In der vorangegangenen Woche hatten 44 Prozent der echten Befragten kabelgebundene Kopfhörer benutzt, gegenüber sechs Prozent in der synthetischen Vergleichsgruppe. Gemeinsam mit anderen Musik gehört hatten 45 statt zwei Prozent; gemeinsam Podcasts gehört hatten 16 Prozent statt ungefähr null. Über die untersuchten Tätigkeiten hinweg nennt Inflection etwa sechs Prozentpunkte mittleren Fehler für gut dokumentierte und 33 Punkte für selten online erfasste Verhaltensweisen. Die Werte fassen ausgewählte Verhaltensgruppen dieser Studie zusammen und dürfen nicht als feste Korrekturfaktoren für jede spätere Umfrage verwendet werden.

Ein zweiter Unterschied betraf die Gründe, einen Chatbot nicht weiter zu nutzen. Unter echten Befragten nannten 9,9 Prozent Einwände aufgrund persönlicher Werte, darunter das Verhalten eines Unternehmens, Datenschutz, politische Voreingenommenheit oder Umweltfolgen. In den sechs synthetischen Gruppen lag der entsprechende Anteil bei 1,1 Prozent. Für Produktteams ist das bedeutsam, weil ein Modell höfliche, allgemeine und nachvollziehbar wirkende Begründungen erzeugen kann, während konkrete Kritik oder Misstrauen fehlen. Wer solche Antworten unmittelbar als Kundenstimmen behandelt, könnte Reputationsprobleme unterschätzen. Die Untersuchung beweist nicht, dass jedes Modell bei jeder Wertefrage in gleichem Maße scheitert.

Auch das Bild des Chatbot-Marktes war zwischen den Modellen uneinheitlich. Echte Teilnehmer nannten eine nennenswerte Nutzung von 13 verschiedenen Chatbots; eine synthetische Konfiguration erfasste elf, andere nur vier. Eine über mehrere Fragen gleichbleibende Identität der simulierten Person verbesserte laut Bericht einige Einzelaspekte, aber nicht verlässlich die Gesamtgenauigkeit. Ein längeres Gespräch ist deshalb noch keine Validierung. Forschende sollten Modellversion, Eingabe, demografisches Profil, Reihenfolge der Fragen, Auswahl der menschlichen Stichprobe und Bewertung festhalten. Sie sollten Abweichungen pro Frage und Unterschiede zwischen den Modellen zeigen, statt nur das Ergebnis auszuwählen, das zu einer bestehenden Erzählung passt.

Es gibt dennoch begrenzte sinnvolle Anwendungen. Synthetische Gruppen können beim Testen von Frageformulierungen helfen, frühe Hypothesen sammeln und Themen für menschliche Interviews markieren. Vor Entscheidungen über ein Produkt, Preise oder Sicherheit sollten die maßgeblichen Aussagen mit echten Personen und einer offengelegten Stichprobenmethode geprüft werden. Neue Gewohnheiten, Erfahrungen kleiner Gruppen und Vertrauen in Marken sind besonders empfindlich, weil vorhandene Webtexte lückenhaft sein können. Ein Prüfbericht sollte reale und synthetische Gruppengrößen, absolute Punktabstände, Unsicherheit und Streuung zwischen Modellen angeben und nicht nur einen Mittelwert. Ein vorher definierter Grenzwert für akzeptable Fehler schützt vor einer nachträglichen Auswahl günstiger Resultate.

Prozent und Prozentpunkte müssen auseinandergehalten werden. Der Unterschied zwischen 44 und sechs Prozent beträgt 38 Prozentpunkte, nicht einfach 38 Prozent relativen Fehler. Ebenso bedeutet ein mittlerer Abstand von 22 Punkten nicht, dass jede Frage genau diesen Abstand hatte. Ohne Aufschlüsselung nach Frage und Angaben zur Gewichtung lässt sich der Gesamtwert von Dritten nur schwer nachrechnen.

Die Studie unterscheidet Antworten, die menschlich klingen, von Schätzungen, die eine gemessene menschliche Gruppe statistisch nachbilden. Synthetische Befragte können frühe Erkundungen ergänzen, ersetzten in diesen Vergleichen aber keine echten Teilnehmer; ein behaupteter Genauigkeitsgewinn sollte mit denselben Fragen und derselben Stichprobe belegt werden.