AI 사기꾼들이 SHEIN 제품을 판매하기 위해 가짜 흑인 페르소나를 만들고 있다

배경

최근 The Verge의 심층 조사 보도에 따르면, 소셜 커머스 플랫폼 TikTok Shop에는 인공지능(AI)으로 생성된 가짜 흑인 여성 판매자 계정들이 급증하고 있는 것으로 드러났다. 이러한 계정들은 실제 인간이 운영하는 것이 아니라, 알고리즘에 의해 구축된 디지털 아바타들이다. 이 현상은 단순한 사기 행위를 넘어, 판매자의 정체성을 처음부터 생성하여 감정적 참여와 전환율을 극대화하려는 정교한 자동화 기만으로 진화하고 있다. 이는 개별 사기꾼들의 고립된 사례가 아니라, 표준화된 자동화 운영 워크플로우의 일환으로, TikTok Shop이라는 새로운 플랫폼에서 은밀하면서도 효율적인 트래픽 수확 작업이 진행되고 있음을 보여준다.

조사에서 가장 두드러지게 나타난 예시는 'Aliyah'라는 페르소나이다. Aliyah는 밝은 피부를 가진 여성으로, 서부 카운티 스타일의 의상을 입고 있는 AI 캐릭터로 묘사된다. 이러한 시각적 선택은 서부 시장에서 특정 문화적 연상 작용을 불러일으키도록 계산된 것으로 보인다. 그녀의 영상에서 Aliyah는 개인적인 고난과 노동에 대한 이야기를 눈물겹게 서술하며, 시청자들에게 자신이 금속 버클을 손수 만드는 클립을 시청해달라고 요청한다. 이 내러티브 아크는 시청자의 동정을 자아내도록 신중하게 각본되었으며, 캐릭터를 경제적 역경에 맞서 싸우는 성실한 장인으로 포지셔닝한다.

그러나 이러한 영상 뒤의 현실은 제시된 내러티브와 극명하게 대조된다. 이러한 링크를 통해 판매되는 제품은 genuine artisanal labor(진정한 장인 정신)의 산물이 아니라, SHEIN과 같은 패스트 패션 거대 기업에서 대량 생산된 상품들이다. 여기서 적용되는 비즈니스 모델은 드롭쉬핑(dropping shipping)이다. 이는 매장이 판매하는 제품을 재고로 보유하지 않는 소매 물류 방법이다. 매장이 드롭쉬핑 모델을 사용하여 제품을 판매하면, 제3자로부터 제품을 구매하여 고객에게 직접 배송한다. 결과적으로 판매자는 제품을 보거나 다루지 않으며, 이 구조는 AI 운영자들이 낮은 간접비와 높은 마진을 유지할 수 있게 한다.

심층 분석

이러한 블랙마켓 체인의 핵심은 '감정 계산(affective computing)'과 '자동화 내러티브 생성'의 시너지에 있다. 생성형 AI 기술은 정적인 이미지를 넘어, 인간의 진정성을 모방하는 동적이고 사실적인 얼굴 특징, 신체 움직임, 목소리를 생성하는 데 사용된다. 대형 언어 모델(LLM)은 대상 청중의 심리적 취약점을 이용하도록 설계된 설득력 있는 대본을 작성하는 데 활용된다. 이러한 대본은 공감과 도덕적 의무감을 트리거하여, 소비자가 작은 독립 사업을 지원한다고 믿도록 조작한다. 이러한 기술적 정교함은 최소한의 한계 비용으로 수천 개의 유사한 계정을 생성할 수 있게 하여, 검색 결과와 추천 피드를 지배할 수 있는 확장 가능한 트래픽 매트릭스를 형성한다.

비즈니스 모델 관점에서 이 수익 구조는 제품 품질이나 브랜드 가치보다 '감정 프리미엄'에 크게 의존한다. 드롭쉬핑 프레임워크에서 판매자는 소비자의 도움에 대한 욕구와 공급업체의 재고 사이의 격차를 메우는 중간자로서 가치를 포착한다. AI로 생성된 페르소나는 서부 사회의 '취약 계층'이나 '성실한 이민자'에 대한 고정관념에 맞도록 의도적으로 제작된다. 그들은 독립적이고 회복력이 강하지만 경제적 형편이 어려운 장인들로 묘사된다. 이러한 특징은 '공감 피로'와 '도덕적 허가(moral licensing)' 효과와 같은 심리적 현상을 이용한다. 소비자들은 이러한 계정에서 구매함으로써 도덕적 만족감이나 미덕 신호(virtue signaling)를 느끼며, 이는 제품 품질, 배송 시간 및 판매자의 진정성에 대한 경계를 낮추어 충동 구매를 더 쉽게 만든다.

기술적 실행은 표준화된 템플릿 시스템을 포함한다. 일단 영상 형식과 대본이 판매 생성에 효과적임이 검증되면, AI 도구는 이러한 영상의 변형을 대량으로 생산할 수 있다. 이러한 변형에는 다른 배경, 대화의 미세한 변경 또는 변경된 제품 디스플레이가 포함될 수 있지만, 핵심 내러티브는 일관되게 유지된다. 이러한 자동화는 악의적 행위자들이 인간 운영자가 달성할 수 없는 볼륨으로 플랫폼에 콘텐츠를 범람시킬 수 있게 한다. 그 결과, 알고리즘 효율성이 진정한 기업가적 노력보다 감정적으로 조작적인 콘텐츠를 선호하는 왜곡된 시장이 탄생한다.

산업 영향

이러한 AI 생성 페르소나의 확산은 시장 경쟁과 사회 윤리에 깊은 영향을 미친다. 첫째, 이는 공정한 시장 경쟁 질서를 심각하게 교란시킨다. 특히 스토리텔링을 통해 브랜드를 구축해야 하는 소수 커뮤니티의 진정한 소규모 판매자들은 자신의 내러티브가 차용되고 희석될 위험에 처해 있다. fabricated 'tragic narratives'(가짜 비극적 내러티브)가 genuine stories(진실한 이야기)보다 더 많은 트래픽과 매출을 손쉽게 얻을 수 있을 때, 정직한 상거래의 근본적인 논리가 훼손된다. 이는 무결성이 처벌받고 알고리즘 시스템이 진정성보다 참여 지표를 우선시함으로써 기만이 보상되는 적대적인 환경을 만든다.

둘째, 이 트렌드는 인종 편견과 정체성의 상품화를 악화시킨다. 이러한 페르소나를 생성하는 데 사용되는 AI 모델은 인터넷 데이터에서 발견된 기존 인종 고정관념을 흡수하고 강화할 가능성이 높다. 결과적으로 생성된 캐릭터들은 종종 축소되고 수동적인 피해자나 피곤하지 않은 노동자의 내러티브에 빠진다. 이는 특정 민족 이미지를 단순화하고 낙인찍을 뿐만 아니라, 인종적 정체성을 조작 가능한 마케팅 도구로 변환한다. 여기서의 윤리적 위기는 이중적이다. 그것은 수익을 위해 소외된 커뮤니티의 실제 투쟁을 이용하고, 디지털 공간에서 해당 그룹의 기본이거나 가장 매력적인 표현으로 제시함으로써 해로운 고정관념을 perpetuate(영속화)한다.

TikTok Shop과 같은 플랫폼에게 이 도전은 막대하다. 기존 AI 감지 기술은 매우 사실적인 합성 미디어를 식별하는 데 어려움을 겪고 있어, 플랫폼은 사기성 마케팅을 퇴치해야 할 필요성과 혁신적인 콘텐츠 생성을 장려하려는 욕구 사이에서 갈등한다. genuine human creators(진정한 인간 창작자)와 AI 생성 페르소나를 효과적으로 구분하지 못하는 능력 부족은 소비자들 사이에 신뢰 부족을 초래한다. 사용자가 가짜 정체성에 의해 속았음을 깨닫게 되면, 이는 소셜 커머스에 대한 더 넓은 신뢰 위기로 이어질 수 있다. 이러한 신뢰의 침식은 모든 판매자의 신원을 쉽게 확인할 수 없는 경우 소비자가 참여하기를 꺼리게 되므로, 전체 산업의 장기적인 생존 가능성을 위협한다.

전망

앞으로 이 트렌드는 더 엄격한 규제 개입과 기술적 대응의 격화를 촉발할 가능성이 높다. 상업 마케팅에서 AI 생성 콘텐츠의 유행이 부인할 수 없게 되면서, 정부들은 AI 생성 콘텐츠의 강제 라벨링을 요구하는 더 명시적인 규정을 도입할 수 있다. 이러한 법률은 이러한 자동화 계정 뒤의 실체를 법적 책임에서 벗어나게 하려는 시도로, 검증의 부담을 플랫폼에서 운영자로 이동시키는 것을 목표로 할 것이다. 또한 규제 기관들은 사기성 관행에 대한 적절한 보호 장치를 구현하지 못한 플랫폼에 더 무거운 처벌을 부과하여, 현재의 콘텐츠 중재 전략 재평가를 강요할 수 있다.

플랫폼들은 콘텐츠 감시 메커니즘을 업그레이드해야 할 것이며, 단순한 키워드나 이미지 매칭을 넘어 더 정교한 딥페이크 감지 기술로 이동해야 한다. 이는 입술 동기화, 미세 표현 및 오디오-비주얼 일관성의 불일치를 감지할 수 있는 다중 모달 분석 도구를 통합하는 것을 포함할 것이다. 또한 알고리즘 추천 로직은 감정적으로 조작적인 콘텐츠의 가중치를 줄이고, 검증된 판매자 자격 증명과 투명한 공급망 정보를 우선시하도록 최적화될 수 있다. 목표는 진정성이 보상되고 사기성 전술이 체계적으로 하위 순위 처리되거나 제거되는 생태계를 만드는 것이다.

산업 관찰자들에게는 이 문제의 궤적을 나타내는 몇 가지 핵심 신호가 중요하다. 주요 전자상거래 플랫폼들이 AI 생성 계정을 블랙리스트에 올리고 공급망 연결을 차단하기 시작할지 여부를 모니터링하는 것이 필수적이다. equally important(동등하게 중요)한 것은 대중이 AI 생성 콘텐츠를 식별하는 능력을 향상시키는 소비자 교육 이니셔티브의 발전이다. 마지막으로, 윤리적 AI 개발 프레임워크의 진보는 이러한 착취를 가능하게 하는 편향된 모델의 훈련을 방지하는 데 중추적인 역할을 할 것이다. 궁극적으로 도전 과제는 AI 기술이 취약 계층을 착취하고 대중 감정을 조작하는 무기가 아니라, 권한 부여와 혁신의 도구로 사용되도록 보장하는 데 있다. 디지털 생태계에서 신뢰를 재건하고 윤리적 기준선을 확립하는 것은 소셜 커머스의 미래에 관여하는 모든 이해 관계자들에게 지속적인 최우선 과제가 될 것이다.