OpenAI, robots.txt의 공통 AI 학습 선호 신호를 존중하겠다고 밝혀… 구현은 앞으로 몇 달 안에 목표

2026년 10월 30일 OpenAI는 robots.txt에 담기는 공통 신호를 존중하겠다고 발표했다. robots.txt는 웹사이트가 자동 방문자에게 자신의 선호를 알리는 파일이다. 이 신호를 쓰면 사이트 운영자는 자기 콘텐츠를 기반 생성형 AI 모델의 학습에 쓰는 것에 대한 선호를 밝힐 수 있다. OpenAI는 이를 자발적인 노력이라고 부르며, 참여하는 여러 제공자에게 같은 선호를 한 번에 전달하기 쉬워진다고 설명한다.

게시물에 따르면 지금까지 운영자는 크롤러를 하나하나 식별하고 제공자마다 별도의 규칙을 관리해야 했다. 공통 신호가 있으면 그 수고가 줄어든다. OpenAI는 앞으로 몇 달 안에 이 신호를 구현하는 것을 목표로 하며, 구현할 때 세부 내용을 담은 업데이트를 다시 공개하겠다고 한다. 그러므로 이번 게시물은 이미 작동하는 기능이 아니라 약속이다. 새 신호는 OpenAI가 이미 robots.txt로 제공하는 통제를 대체하지 않는다. 기존 크롤러 통제는 계속 적용되고 존중된다.

게시물은 이 신호를 정의한 인터넷 드래프트(Internet-Draft)를 링크하며, 작동 방식은 그 드래프트에서 확인된다. 드래프트의 이름은 draft-kelley-aipref-training-preference-signal-00이고, 날짜는 2026년 10월 30일이며, K. Kelley의 개인 제출물로 소속은 Anthropic으로 적혀 있다. IETF 페이지는 이 문서가 IETF의 승인을 받지 않았고 표준화 절차에서 공식 지위가 없다고 밝힌다. 드래프트에 따르면 운영자는 평범한 robots.txt 그룹을 쓰고, 그 User-Agent 줄에 정책 토큰 __usage_ai-training을 넣는다. 드래프트의 예에서 `Disallow: /`와 `Allow: /press-kit/`를 함께 쓰면 /press-kit/을 제외한 모든 경로에 대해서는 AI 학습에 반대하는 선호를, /press-kit/에 대해서는 찬성하는 선호를 나타낸다. 새 지시어나 새 문법은 추가되지 않으며, 이 토큰을 모르는 파서는 알 수 없는 사용자 에이전트용 그룹을 무시하듯 이 그룹을 무시한다. User-Agent: *용 그룹은 이 토큰과 일치하는 것으로 해석해서는 안 되고, 토큰이 없는 파일은 아무 선호도 표명하지 않은 것이다.

같은 드래프트는 중요한 한계도 둔다. 이 토큰은 크롤링 지시가 아니다. robots.txt의 크롤러 규칙은 독립적으로 남아 의미가 바뀌지 않으며, 이 신호를 쓰는 쪽은 무엇을 가져올지 정할 때 이 선호를 참고할 수 있지만 반드시 그래야 하는 것은 아니다. 또 개별 합의가 이런 방식으로 밝힌 선호보다 우선할 수 있다고 한다. 드래프트는 작업반의 ‘AI 학습’ 정의를 따르는데, 이는 콘텐츠를 사용해 생성형 AI 모델의 학습된 매개변수를 바꾸는 것을 뜻하며 비생성 작업에만 쓰이는 모델은 제외한다. OpenAI의 게시물 자체는 토큰 이름을 적지 않고, 날짜를 제시하지 않으며, 함께하는 다른 제공자를 밝히지 않고, 이미 수집한 콘텐츠도 다루지 않는다. 게시물은 OpenAI가 IETF AI Preferences 작업반의 다른 참가자들과 함께 이 발표에 참여한다는 점, 그리고 그 작업과 환경이 바뀜에 따라 관행을 계속 조정하겠다는 점을 말한다.

초안에서 정책 토큰의 뜻은 일반 크롤링 허용과 다르다. 지정한 그룹의 경로 규칙으로 학습에 대한 선호를 읽고, 해당 토큰이 없으면 동의 또는 거부로 추정하지 않는다. 모든 사용자 에이전트를 뜻하는 와일드카드 그룹도 이 토큰의 그룹을 대신할 수 없다. 제공자는 이 선호를 크롤링 판단에 참고할 수 있지만 반드시 그래야 하는 것은 아니며, 사이트가 특정 크롤러의 접근을 제한하려면 기존 제품별 규칙을 유지해야 한다. 초안은 생성형 모델의 매개변수를 수정하는 학습을 다루고 비생성형 작업만 하는 모델까지 자동으로 포괄하지 않는다. 별도 계약이 공개 선호보다 우선할 수도 있다. OpenAI는 구현 시점을 몇 달 안이라고만 밝히고 수집된 자료의 소급 처리, 구체적인 테스트나 시행 날짜를 설명하지 않았다. 따라서 운영자는 후속 공지와 실제 동작을 확인해야 한다.

사이트 운영자에게 현실적인 행동은 OpenAI의 구현 세부 내용이 나올 때까지 기다린 뒤에 이 신호에 의존할지 정하고, 기존 크롤러 규칙은 그대로 두는 것이다. OpenAI가 기존 규칙이 계속 적용된다고 말했기 때문이다. 독자에게 이 소식은 공식적 지위가 아직 없는 드래프트에 바탕을 둔 공통 신호에 대한 공개 약속일 뿐, 오늘 이미 어떤 콘텐츠가 보호된다는 증거는 아니다.