TensorRT-LLM 1.4 후보 버전, KV 캐시 기본값 변경
NVIDIA의 10월 22일 TensorRT-LLM v1.4.0rc1 릴리스 후보는 KV 캐시 관리자 V2와 Python 트랜시버를 기본으로 설정하고 모델 및 서빙 지원을 확대합니다. 알려진 문제는 서로 다릅니다. A100에서 스트리밍 요청을 취소하면 후속 요청에 영향을 줄 수 있고, Qwen3 JSON 스키마 서빙 예제에서는 출력이 제한 없이 이어질 수 있습니다. 운영에 앞서 캐시 전송, 취소, 구조화 출력의 길이 제한을 각각 확인해야 합니다.
TensorRT-LLM 1.4.0 릴리스 후보에는 단계적 업그레이드가 필요합니다.
NVIDIA는 10월 22일(UTC)에 오픈 소스 TensorRT-LLM 'v1.4.0rc1' 릴리스 후보를 발표했습니다. 릴리스 노트에서는 모델 지원, API 제공, KV 캐시 관리, 디코딩 경로 및 하드웨어별 최적화를 다룹니다. 릴리스 후보는 이러한 변경 사항 중 하나가 필요한 팀에게 유용한 통합 대상이지만 광범위하게 입증된 프로덕션 빌드와는 다릅니다. 노트 자체에는 알려진 문제가 표시되어 있습니다. 하나는 분리된 제공 및 A100의 기본 Python KV 캐시 트랜시버를 사용하여 취소된 스트리밍 요청에 관한 것입니다. 다른 하나는 JSON 스키마 제공 예제가 Qwen3 모델을 사용하여 무제한 출력을 반환할 수 있다고 말합니다. 이러한 주의 사항은 평가 계획의 일부가 되어야 하며 기능 목록 뒤에 묻혀서는 안 됩니다.
캐시 기본값은 호환성 변경 사항입니다.
메모에는 두 가지 API 변경 사항을 기존 버전과 호환되지 않는 변경으로 표시합니다. KV 캐시 관리자 V2와 Python KV-캐시 트랜시버가 기본값이 되고 사용되지 않는 `LlmRequest` 필드가 제거됩니다. 따라서 이전 버전에서 업그레이드된 서비스는 자체 구성 파일이 변경되지 않더라도 동작이 변경될 수 있습니다. 사전 채우기 및 디코드 분리, 취소 또는 외부 캐시 커넥터를 사용하는 팀은 해당 경로를 명시적으로 테스트해야 합니다. NVIDIA는 KV 캐시 관리자 V2용 Mooncake 커넥터를 추가합니다. 별도로 전송 백엔드용 KV 캐시 대여 API를 도입하고, 네이티브 KV 이벤트 스트리밍과 라우팅 부하 정보를 제공합니다. 이는 작업자 간에 작업을 배치하고 상태를 이동해야 하는 운영자에게 유용한 기본 요소이지만 릴리스 페이지는 모든 토폴로지에 대한 처리량 향상을 입증하지 않습니다.
특정 취소 문제는 숨겨진 상태 전환의 위험을 보여줍니다. 클라이언트는 충분한 출력을 받은 후 스트림을 닫을 수 있습니다. 서버에는 여전히 캐시 상태가 있으며 조정을 위한 전송 작업이 있습니다. 취소 후 트랜시버에 오류가 발생하면 이후 세대 요청이 영향을 받을 수 있습니다. 제어된 로드 테스트는 정상적인 완료와 의도적인 클라이언트 연결 끊기를 혼합하고, 오류율과 캐시 정리를 검사하고, 배포용으로 계획된 동일한 하드웨어 및 서비스 모드에서 반복해야 합니다. 간단한 단일 요청 대기 시간 벤치마크에서는 이 실패 모드를 놓칠 수 있습니다. 이 문제는 A100에서 관찰된 것으로 보고되었으므로 모든 GPU에서 보편적인 문제라고 명시해서는 안 됩니다.
모델 및 정밀도 지원 확장
이 릴리스에는 DeepSeek-V4.1-Flash 및 NVFP4 GLM-5.3-Flash 체크포인트에 대한 지원과 Qwen3.8-Flash-Next NVFP4에 대한 실험적인 모델링 V2 타겟이 추가되었습니다. 또한 LiLiCorr에 대한 DFlash 초안 체크포인트를 언급하고 Hopper에서 Nemotron-H NVFP4에 대한 대체 동작을 변경합니다. 각 항목은 특정 모델 형식 및 실행 경로에 대한 호환성 주장입니다. 모델 출력이나 성능이 정밀도 전반에 걸쳐 동일하다는 진술은 아닙니다. 팀은 알려진 양호한 배포를 교체하기 전에 체크포인트의 라이선스, 토크나이저, 채팅 템플릿, 수치 허용 범위 및 대표적인 출력 품질을 확인해야 합니다. 양자화는 특히 길거나 구조화된 출력에서 엣지 케이스 동작을 변경하면서 메모리를 줄이거나 처리량을 향상시킬 수 있습니다.
NVIDIA는 또한 NVFP4 콜드 페이지 압축의 RoPE 정밀도, 점진적으로 채워지는 호스트 캐시 계층, 캐시 V2 풀에 대한 재조정 매개변수에 대한 옵션을 나열합니다. 이러한 손잡이는 바쁜 서비스 클러스터가 직면하는 GPU 메모리, 호스트 메모리, 전송 시간 및 응답 지연 시간과 같은 리소스 장단점을 노출합니다. 유용한 측정은 동일한 프롬프트 길이 분포에서 p50 및 꼬리 대기 시간을 포함하여 네 가지를 모두 보고합니다. 릴리스 노트에는 Rubin 지원, Blackwell CuTe DSL 작업 및 주의 변형을 포함한 다양한 하드웨어 경로가 언급되어 있습니다. 의도된 시스템에서 테스트될 때까지 아키텍처별 개발로 취급되어야 합니다. 한 GPU 제품군에 대한 헤드라인을 다른 GPU 제품군의 예산에 복사해서는 안 됩니다.
구조화된 출력과 결정론에는 자체 테스트가 필요합니다.
Qwen3에 대한 JSON 스키마 예제 주의 사항은 제한된 기계 판독 가능 응답을 기대하는 에이전트 시스템에 중요합니다. 클라이언트가 무기한 기다리거나 눈치채지 못한 채 잘린 개체를 수락할 수 있는 경우 스키마 기능은 운영상 유용하지 않습니다. 또한 이 릴리스에서는 결정론적 FP32 GVR V2 top-K 디코딩을 추가하고 특정 일괄 샘플링 경로에서 요청별 시드를 존중합니다. 결정적 동작의 범위는 명시된 경로에 국한되며, 모든 분산 실행이 바이트 단위로 재생산된다는 포괄적인 약속은 아닙니다. 팀은 응답 한도를 설정하고, 구문 분석된 출력을 검증하고, 모델 및 디코딩 설정을 기록하고, 프로덕션에 사용되는 정확한 일괄 처리 계획에 따라 반복 실행을 비교해야 합니다.
10월 25일 독자를 위한 결정
현재 스택이 안정적이고 새로운 모델이나 캐시 기능이 필요하지 않은 경우 릴리스 후보는 평가 대상으로 남을 수 있습니다. 필요한 체크포인트나 커넥터에 필요한 경우 격리된 서비스에서 업그레이드를 준비하고 취소, 사전 채우기/디코딩 전송, 구조화된 출력, 품질 및 리소스 사용을 다루는 전후 프로필을 수집합니다. 구성 및 캐시 동작에 대해 테스트된 다운그레이드 경로를 유지하세요. 이는 게시된 변경 사항 및 문제 목록의 편집자 권장 사항이지 후보자가 모든 곳에서 안전하지 않다는 주장이 아닙니다. 10월 25일 다이제스트에서는 제한 사항이 그대로 유지된 10월 22일 원본 릴리스를 제공합니다. 최종 1.4.0 가용성은 암시되지 않습니다.
Sources
FAQ
TensorRT-LLM v1.4.0rc1의 문제점은 무엇입니까?
NVIDIA는 사용되지 않는 요청 필드를 제거하는 것과 함께 새로운 기본 KV 캐시 관리자 V2 및 Python KV 캐시 트랜시버를 주요 변경 사항으로 표시합니다. 따라서 배포는 자체 구성을 편집하지 않고도 동작을 변경할 수 있습니다. 팀은 릴리스 후보를 승격하기 전에 정확한 제공 토폴로지에 대해 캐시 전송, 취소 및 롤백 테스트를 진행해야 합니다.
릴리스 후보가 공개하는 알려진 문제는 무엇입니까?
메모에는 취소된 스트리밍 요청이 A100에서 관찰되는 기본 Python 트랜시버를 사용한 분리된 서비스에서 KV 캐시 전송 오류로 이어질 수 있다고 나와 있습니다. 또한 Qwen3 모델을 사용하여 제한 없는 출력을 반환할 수 있는 OpenAI JSON 스키마 예제에 플래그를 지정합니다. 이는 범위가 지정된 경고일 뿐 모든 GPU 또는 스키마 호출이 실패한다는 증거는 아닙니다.
새로운 모델 지원이 더 나은 추론 성능을 보장하나요?
이 릴리스에는 DeepSeek-V4.1-Flash 및 NVFP4 변형을 포함하여 명명된 체크포인트 및 정밀 경로가 추가되지만 지원은 범용 벤치마크가 아닙니다. 팀은 자체 워크로드에 대한 토크나이저 호환성, 출력 품질, 메모리 사용 및 테일 대기 시간을 확인해야 합니다. 양자화 또는 새로운 캐시 경로는 속도와 엣지 케이스 동작을 모두 변경할 수 있습니다.