인플렉션 조사에서 합성 응답과 실제 사용자 응답은 평균 약 22%포인트 차이

인플렉션 AI는 2026년 10월 30일 미국의 실제 인공지능 챗봇 사용자 1,003명의 설문 답변과 합성 응답자 여섯 집단을 비교한 연구를 공개했다. Claude, ChatGPT, Gemini 세 모델에 두 조사 방식을 적용한 결과, 선택된 질문에서 실제 답변과의 평균 차이가 약 22%포인트였고 가장 가까운 합성 집단도 거의 19%포인트 차이가 났다고 보고했다. 이 수치는 해당 표본과 질문에 관한 결과이지 모든 합성 설문의 보편적인 오류율이 아니다. 이 사이트의 발행일인 11월 2일은 원래 연구 발표일을 바꾸지 않는다.

합성 응답자는 인구 특성, 습관이나 의견을 가진 사람을 모델이 흉내 내도록 만든 가상 참여자다. 사람을 모집하기 전에 질문 문구를 시험하고 가설을 찾는 데 빠르고 저렴하게 쓸 수 있다. 그러나 그럴듯한 문장과 실제 사람들의 행동 분포를 재현하는 일은 다르다. 비교 대상 1,003명은 미국 챗봇 사용자이므로 미국의 모든 주민을 자동으로 대표하지 않는다. 세 모델과 두 조사 방법으로 여섯 집단이 만들어졌다는 사실도 ‘합성 사용자’가 하나의 고정된 측정 도구가 아님을 보여준다. 모델이나 프롬프트, 대화 구조를 바꾸면 질문이 같아도 시장 그림이 달라질 수 있다.

일상적이지만 인터넷에 충분히 기록되지 않은 행동에서는 차이가 특히 컸다. 지난 한 주에 유선 이어폰을 썼다는 실제 응답자는 44%였지만 합성 응답자는 6%였다. 다른 사람과 음악을 함께 들었다는 비율은 45%와 2%, 팟캐스트를 함께 들었다는 비율은 16%와 거의 0%였다. 조사된 행동을 묶으면 온라인에서 잘 기록된 활동의 평균 오차는 약 6%포인트, 거의 기록되지 않은 활동의 평균 오차는 약 33%포인트라고 회사는 설명한다. 이 값은 연구가 선택한 행동 집단의 평균일 뿐 모든 향후 질문에 적용할 보정 계수가 아니다.

챗봇 사용을 중단한 이유에도 격차가 있었다. 실제 응답자 중 9.9%는 기업 행동, 사생활, 정치적 편향, 환경 영향 같은 가치관에 기반한 반대 이유를 말했다. 여섯 합성 집단에서 해당 비율은 1.1%에 그쳤다. 모델은 정중하고 일반적인 설명을 자연스럽게 만들어도 특정 기업에 대한 비판이나 불신을 빠뜨릴 수 있다. 이런 답변을 실제 고객의 목소리로 곧장 대신하면 평판 문제를 낮게 평가할 위험이 있다. 다만 모든 모델이 모든 가치관 질문에서 같은 정도로 실패한다는 결론은 이 연구에서 입증되지 않았다.

챗봇 시장을 묘사하는 방식도 집단마다 달랐다. 실제 참여자는 유의미하게 사용한 챗봇 13종을 보고했으나 한 합성 구성은 11종, 다른 구성은 4종만 포착했다. 여러 질문에 걸쳐 가상 응답자의 정체성을 유지하면 일부 답변은 나아졌지만 전체 정확도가 안정적으로 개선되지는 않았다. 따라서 대화를 더 길게 했다는 사실만으로 조사 방법이 검증된 것은 아니다. 연구자는 모델 버전, 프롬프트, 인구 프로필, 질문 순서, 실제 표본의 추출 방식과 평가 규칙을 기록해야 한다. 질문별 오차와 모델 간 불일치를 함께 보고해야 유리한 결과만 골라내는 일을 줄일 수 있다.

합성 연구에도 제한된 쓸모는 있다. 설문 문장이 모호한지 확인하고 초기 가설을 모으며 어떤 주제를 사람에게 다시 물어야 하는지 찾는 데 도움을 줄 수 있다. 그러나 제품 출시, 가격이나 안전 대책처럼 영향이 큰 결정은 투명하게 뽑은 실제 사람들의 조사나 인터뷰로 핵심 주장을 검증해야 한다. 새로운 생활 습관, 소수 집단의 경험, 브랜드 신뢰 문제는 기존 웹 기록이 적거나 편향되기 쉬워 특히 주의가 필요하다. 제대로 된 검증 보고서는 집단별 규모, 절대적인 %포인트 차이, 불확실성, 모델 간 차이를 적고 평균 하나로 결론 내리지 않아야 한다.

퍼센트와 퍼센트포인트도 구분해야 한다. 44%와 6%의 간격은 38%포인트이며 상대오차 38%라는 뜻이 아니다. 평균 약 22%포인트라는 값은 모든 질문에서 똑같이 22포인트 틀렸다는 뜻도 아니다. 질문별 표와 표본 가중치가 없으면 제삼자가 종합값을 다시 계산하기 어렵다.

이 연구의 의미는 사람답게 들리는 답변과 실제 사람 집단을 통계적으로 닮은 추정을 구별했다는 데 있다. 합성 집단은 초기 탐색을 도울 수 있지만 이 비교에서는 실제 응답자를 대신하지 못했으며, 더 높은 정확도를 주장하려면 같은 질문과 같은 표본으로 대조한 자료가 필요하다.