IBM, Hugging Face 블로그에서 LLMON과 Granite 4.1 3B/8B 프리뷰 공개

Published · AI Daily — AI-assisted deep research, methodology & disclosure

IBM이 Hugging Face 블로그에서 지시와 데이터를 구분하는 마크업 언어 LLMON과 Granite 4.1 기반 3B, 8B 프리뷰 모델을 공개했습니다.

발표 내용

2026년 11월 12일, IBM은 Hugging Face 공식 블로그에서 LLM을 위해 설계된 마크업 언어 LLMON(LLM Object Notation, 발음은 '레몬')을 소개했습니다. 파서가 아니라 대규모 언어 모델을 위한 언어라는 점이 핵심입니다. IBM은 Granite 4.1 기반 모델에서 파생한 실험용 프리뷰 모델 두 개를 함께 공개했습니다. granite-4.1-3b-LLMON-preview와 granite-4.1-8b-LLMON-preview입니다. GitHub 저장소에는 LLMON을 다루는 툴킷과 워크플로 예제, 템플릿이 들어 있습니다. IBM은 이것이 실험용 프리뷰이며 탐색과 평가에는 적합하지만 프로덕션에는 적합하지 않다고 분명히 밝혔습니다.

해결하려는 문제

모델은 컨텍스트를 바탕으로 다음 토큰을 생성합니다. 작업이 길어지면 컨텍스트에는 시스템 프롬프트, 이전 대화, 검색된 문서에 적용되는 지시, 도구 응답, 사용자 데이터, 출력 제약, 추론 사슬 같은 여러 종류의 구성 요소가 쌓입니다. 구조는 풍부하지만 대부분 암묵적이거나, 언어 모델이 읽도록 설계되지 않은 JSON 같은 형식으로 담깁니다. IBM은 이것이 특히 작은 모델이 예상치 못한 곳에서 무너지는 주된 이유 가운데 하나라고 봅니다. 구조가 드러나지 않으면 공격자에게도 틈이 생깁니다. 간접 프롬프트 주입이 대표적입니다. 악의적인 지시가 검색 문서, 도구 응답, 사용자 데이터에 숨어 있으면 모델은 명령과 단순한 자료를 구분하지 못합니다.

LLMON이 작동하는 방식

LLMON은 의미상 하나로 묶이는 각 구성 요소에 의미 있는 태그를 붙이고, 예약된 특수 토큰 구분자로 감쌉니다. 중첩을 포함한 데이터 스키마가 인과적 언어 모델이 모호함 없이 읽을 수 있는 방식으로 표현됩니다. 각 블록에는 고유 ID가 있어서, 컨텍스트 어디에 있는 지시든 그 지시가 작용해야 할 데이터에 묶을 수 있습니다. IBM은 이를 함수 호출에서 인자를 넘기는 것에 비유합니다. 이 언어는 태그의 시작과 끝을 표시하고 중첩과 고정을 가능하게 하는 구분자 여섯 개를 정의하며, 이들은 토크나이저에 예약된 단일 토큰으로 설치됩니다.

왜 JSON이 아닌가. 블로그의 설명은 구체적입니다. 토크나이저는 문법을 지키도록 강제되지 않고, 중괄호, 따옴표, 콜론처럼 구조를 나타내는 기호는 일반 문장에도 등장합니다. 모델에게 문서 속 따옴표와 필드를 닫는 따옴표는 같은 토큰입니다. 파서에게는 분명한 이스케이프 규칙도 모델에게는 통계적 패턴일 뿐입니다. 중첩 깊이는 괄호를 세어서 표현하는데, 트랜스포머는 특히 긴 구간에서 이것을 잘 못한다고 알려져 있습니다. LLMON은 구조에 예약 토큰을 쓰므로 구조와 내용이 어휘의 서로 다른 영역을 사용합니다. 태그는 각 구간의 맨 앞에 오고 구간 경계가 명확하며, 중첩 구조는 국소적으로 선언됩니다.

채팅 템플릿과의 관계

LLMON은 채팅 템플릿을 대체하지 않고 보강합니다. 일반 템플릿은 어느 부분이 시스템, 사용자, 어시스턴트에 속하는지 알려 줍니다. LLMON은 각 구성 요소가 무엇을 뜻하는지, 그리고 역할 안팎에서 구성 요소들이 어떻게 연결되는지를 더합니다. 프리뷰 모델에는 자체 채팅 템플릿이 들어 있어서, 개발자는 예전과 같은 messages 목록을 만들고 apply_chat_template을 호출하면 됩니다. 달라지는 점은 한 턴의 각 부분에 instruction, data, requirement 같은 이름을 붙이고 각각 exec를 True 또는 False로 표시할 수 있다는 것입니다. True인 부분은 렌더링 결과 맨 아래의 exec 블록에 묶입니다. 이 블록은 어떤 지시를 실행할지, 어떤 데이터에 적용할지, 어떤 요구 사항이 붙는지, 답을 어느 어시스턴트 블록에 쓸지를 밝힙니다. False인 부분은 컨텍스트에 남지만 아무것도 참조하지 않습니다. IBM의 예시에서는 사용자 턴 하나가 주소 지정이 가능한 블록 다섯 개로 모델에 전달되고, 여섯 번째인 exec 블록이 이를 묶습니다. 블록 ID는 두 글자이며 토크나이저가 단일 토큰으로 인코딩하는 고정 집합에서 뽑기 때문에, 블록을 지정하는 비용은 언제나 토큰 두 개입니다.

학습 방법

모델은 이미 공개된 인스트럭트 모델이 아니라 Granite 4.1 베이스 체크포인트에서 출발합니다. 따라서 LLMON 동작은 후속 학습 단계에서 배웁니다. 팀은 일반적인 지시 튜닝 말뭉치를 LLMON으로 다시 직렬화했습니다. 프롬프트의 각 요소가 독립된 블록이 되고, 각 턴에는 실행할 지시와 대상 입력, 출력 위치를 밝히는 실행 블록이 붙습니다. 작업 구성은 일반 인스트럭트 모델과 같아서 채팅, 멀티턴, RAG, 도구 호출을 포함합니다. 그래서 벤치마크 성능이 기존 방식으로 조정한 모델과 비슷하게 유지됩니다. 또한 컨텍스트에는 있지만 일부러 묶지 않은 미끼 지시와 데이터 블록을 추가하면서 목표 출력은 그대로 두었습니다. 모델은 실행 블록이 정한 의존 관계를 따르고 나머지는 무시하는 법을 배웁니다. 이어서 강화 학습이 진행됩니다. 다영역 추론, RLHF, 지식 보정, 수학을 다루는 GRPO 다섯 단계와, 주입 시도에 대한 모델 자신의 응답으로 만든 온폴리시 선호 쌍 천 개를 쓰는 마지막 DPO 단계입니다.

결과적인 권한 규칙은 별도 방어 장치가 아니라 이 배치에서 나옵니다. 실행 블록을 통해 닿는 지시는 권위를 가지며, 입력으로 닿는 것(데이터, 문서, 도구 스키마, 도구 결과)은 읽을 자료이지 따를 명령이 아닙니다. IBM은 이것이 학습된 동작이며 강제된 보장이 아니라고 강조합니다.

평가 결과

IBM은 OPI 벤치마크에서 LLMON 프리뷰를 여러 오픈 모델과 클로즈드 모델과 비교했습니다. 이 벤치마크는 고전적인 NLP 작업의 데이터에 주입을 넣고 여러 공격 전략을 씁니다. 지표는 강건성으로, 1에서 공격 성공률을 뺀 값입니다. 블로그에 따르면 LLMON이 아닌 모든 모델은 높은 확률로 주입된 지시를 실행합니다. LLMON은 이 벤치마크에서 문제를 사실상 없앴고, 시험한 최고의 프런티어 모델보다 47퍼센트, 최고의 오픈 모델보다 95퍼센트 더 많은 공격을 막았다고 합니다. ASB와 StruQ에서도 비슷한 경향이 나타났습니다. 다만 IBM은 이 벤치마크가 정적인 간접 주입을 시험하며 지시와 데이터의 분리가 바로 이 유형을 겨냥한다고 단서를 답니다. 여러 턴에 걸쳐 전개되는 적응형 공격은 아직 개선 중입니다. 일반 성능에서는 표준 벤치마크 범주 전반에서 LLMON 모델이 Granite 4.1 Instruct와 비슷합니다.

자체 어휘와 도입

LLMON은 고정된 스키마에 묶이지 않습니다. 자신의 영역에 맞는 태그 이름과 구조를 고르고, 이를 읽고 쓰는 어댑터를 튜닝할 수 있습니다. IBM은 초등 과학 과제를 다루는 텍스트 기반 벤치마크 ScienceWorld로 이를 보여 줍니다. instr.task.goal, req.planning_policy.rule, data.state.room, data.state.inventory, assistant.next_action 같은 태그를 정의하고 LLMON 모델 위에 LoRA를 튜닝했으며, 전체 과정을 담은 노트북도 공개했습니다. 기존 JSON 파이프라인은 공개된 변환 도구로 손실 없이 LLMON과 상호 변환할 수 있습니다. 에이전트 라이브러리 Mellea는 LLMON을 기본 지원하며 호출을 자동으로 변환합니다.

우리의 시각

코드와 수치, 한계 설명을 갖춘 발표이지만 여전히 프리뷰입니다. 이번 자료는 IBM이 직접 보고한 결과를 인용한 것이며, 주어진 공지에는 독립적인 재현 데이터가 없습니다. RAG와 에이전트를 만드는 팀은 통제된 환경에서 평가해 볼 만합니다. 주입 방어를 프롬프트 요령에서 모델과 토크나이저 층으로 옮기려는 시도입니다.

Sources

FAQ

LLMON은 무엇이며 어떻게 읽나요?

LLMON은 LLM Object Notation의 약자이며 '레몬'이라고 읽습니다. IBM이 언어 모델을 위해 만든 마크업 언어로, 예약된 특수 토큰을 구분자로 써서 지시, 데이터, 요구 사항을 구분하고 모델이 컨텍스트의 구조를 알아보게 합니다.

LLMON은 간접 프롬프트 주입 위험을 어떻게 줄이나요?

지시와 데이터를 다른 블록에 두고 실행 블록이 지시와 입력을 인용하며, 모델은 이를 따르도록 훈련됩니다. IBM은 정적 간접 주입 테스트에서 테스트된 최고 프런티어 모델보다 47퍼센트 더 막았다고 밝혔지만 절대적 방어 보장은 아닙니다.

지금 LLMON 모델을 프로덕션에 쓸 수 있나요?

권장되지 않습니다. IBM은 실험용 프리뷰이며 탐색과 평가에는 적합하지만 프로덕션에는 적합하지 않다고 밝혔습니다. 3B와 8B 두 모델이 공개되었고, 주입 방어 수치는 IBM 자체 블로그에서 나왔으며 다중 턴 적응형 공격은 개선 중입니다.