Inflection observe un écart moyen d’environ 22 points entre répondants synthétiques et réels dans son étude

Le 30 octobre 2026, Inflection AI a publié une comparaison entre les réponses de 1 003 utilisateurs américains réels de robots conversationnels et celles de six populations synthétiques. Ces populations provenaient de trois modèles, Claude, ChatGPT et Gemini, selon deux méthodes d’enquête; sur les questions retenues, l’écart moyen avec les réponses humaines était d’environ 22 points de pourcentage, et la meilleure population restait éloignée de près de 19 points. Ces résultats concernent cet échantillon et ces questions, pas toutes les enquêtes synthétiques. La date de notre édition du 2 novembre ne change pas la date de publication de l’étude.

Un répondant synthétique est une personne simulée par un modèle auquel on attribue des caractéristiques démographiques, des habitudes ou des opinions. Cette méthode permet de tester rapidement la formulation d’une enquête ou de dresser des hypothèses avant de recruter des participants. Elle ne garantit pourtant pas qu’une réponse convaincante reproduise la distribution réelle des comportements. Les 1 003 participants humains étaient des utilisateurs américains de chatbots, et ne représentent pas nécessairement toute la population américaine. Les trois modèles et les deux procédures ont créé six instruments différents, non une mesure stable appelée «utilisateurs synthétiques». Modifier un modèle, une consigne ou la structure de la conversation peut changer le portrait obtenu avec les mêmes questions.

Les différences les plus frappantes touchent des gestes ordinaires peu décrits sur Internet. Parmi les personnes réelles, 44 % avaient utilisé des écouteurs filaires pendant la semaine précédente, contre 6 % des répondants synthétiques. Écouter de la musique avec d’autres personnes donnait 45 % contre 2 %; écouter un podcast à plusieurs, 16 % contre environ zéro. Pour les comportements étudiés, Inflection rapporte une erreur moyenne d’environ six points lorsque les activités sont bien documentées en ligne et de 33 points lorsqu’elles y apparaissent rarement. Ces moyennes décrivent les catégories retenues par l’étude; elles ne constituent pas des coefficients de correction universels.

L’étude s’intéresse aussi aux raisons d’abandonner un chatbot. Parmi les personnes réelles, 9,9 % ont mentionné une objection liée à leurs valeurs, par exemple la conduite d’une société, la vie privée, les biais politiques ou l’environnement. Cette proportion n’était que de 1,1 % pour l’ensemble des six populations synthétiques. Pour une équipe produit, une explication générique et polie peut masquer une critique précise ou une perte de confiance envers une entreprise. Remplacer directement les clients par des réponses simulées risque ainsi de sous-estimer un problème de réputation. Les résultats n’établissent pas que chaque modèle échoue de la même manière sur toutes les questions de valeurs.

Les modèles ne dessinaient pas non plus le même marché. Les personnes réelles déclaraient utiliser de façon significative 13 chatbots différents; une configuration synthétique en reconnaissait 11, d’autres seulement quatre. Donner à un répondant fictif une identité constante entre plusieurs questions améliorait certains aspects des réponses, sans améliorer de manière fiable l’exactitude globale. Une conversation plus longue ne suffit donc pas à valider la méthode. Il faut consigner la version du modèle, la consigne, le profil démographique, l’ordre des questions, l’échantillonnage réel et la règle d’évaluation, puis examiner les écarts par question et entre modèles.

Les simulations peuvent cependant servir à explorer une formulation, énumérer des hypothèses et déterminer où une enquête humaine apportera le plus. Avant une décision importante sur un produit, un prix ou la sécurité, les affirmations décisives doivent être vérifiées par des entretiens humains ou une enquête dont l’échantillonnage est transparent. Cette prudence compte surtout pour les habitudes émergentes, les expériences minoritaires et la confiance envers une marque, car les traces disponibles sur le Web peuvent être rares ou biaisées. Un compte rendu utile donne les tailles des groupes, les écarts absolus en points, l’incertitude et la dispersion entre modèles plutôt qu’une moyenne isolée. Fixer à l’avance l’erreur tolérable évite de choisir ensuite le résultat le plus favorable.

La distinction entre pourcentage et point de pourcentage évite une lecture trompeuse. Entre 44 % et 6 %, l’écart est de 38 points de pourcentage; cela ne désigne pas une erreur relative de 38 %. La moyenne d’environ 22 points ne signifie pas non plus que chaque question présentait le même écart. Sans tableau détaillé par question ni méthode de pondération, un tiers ne peut pas facilement recalculer cette moyenne.

L’apport de l’étude est de séparer les réponses qui semblent humaines des estimations qui reproduisent statistiquement un groupe humain observé. Les populations synthétiques peuvent aider au début d’une recherche, mais elles n’ont pas remplacé les personnes réelles dans ces comparaisons; toute amélioration annoncée devrait être démontrée sur les mêmes questions et le même échantillon.