Microsoft, Foundry Local의 Qwen3.8-27B를 GitHub Copilot에 연결: NVIDIA VRAM 24 GB에서 64K 컨텍스트; 본문에 구체적 속도는 없고 그래프 수치와 전체 방법은 미확인

2026년 11월 5일 Microsoft는 Foundry 블로그에서 오픈 코딩 모델 Qwen3.8-27B를 Foundry Local로 로컬에서 실행하고 Bring Your Own Key(BYOK)로 GitHub Copilot에 연결하는 방법을 소개했습니다. 내세우는 점은 코드와 컨텍스트가 개발자의 기기 안에 머물고, 추론 비용을 예측할 수 있으며, 오프라인에서도 작업을 이어갈 수 있다는 것입니다. 성능 주장을 담은 사용 안내이고, 본문에는 구체적인 속도 수치가 없고 그래프 두 개의 수치와 전체 방법은 이번에 확인하지 않았습니다. 확인한 것은 로컬 추론과 Copilot 엔드포인트 연결 설명뿐이며 IDE 전체, 인증, 원격 분석, 도구 체인이 끝까지 오프라인으로 작동하는지는 시험하지 않았습니다.

모델은 Qwen3.8-27B이며, 아래에 설명하는 GitHub 요청 스레드는 이를 Alibaba의 것으로 적고 있습니다. Microsoft는 코딩 능력과 로컬 사용에 맞는 크기를 함께 갖췄기 때문에 이를 주된 최적화 대상으로 삼았다고 하며, 공개된 것이라고 설명하는 벤치마크 점수를 보여 줍니다. Terminal Bench 2.1은 73.0, SWE-bench Pro는 61.7, NL2Repo-Bench는 42.3, DeepSWE 1.1은 42.2입니다. 글은 이를 공개된 벤치마크로 링크할 뿐 Microsoft가 이 시험을 수행했다고 말하지 않으며, 모델을 클라우드 모델과 비교하지도 않습니다. 로컬 모델은 고급 클라우드 모델보다 추론 능력이 제한적일 수 있다고 분명히 말하고, 일상적인 코딩과 좁은 하위 작업은 로컬로, 어렵고 추론이 많이 필요한 일은 클라우드로 하는 하이브리드 작업 방식을 권합니다.

기술적 주장은 모델을 일반 소비자용 하드웨어에 맞추는 방법에 관한 것입니다. Foundry Local은 ONNX Runtime으로 NVIDIA GPU의 추론 경로 전체를 최적화합니다. 속도를 위해 작은 초안 모델이 여러 토큰을 한꺼번에 예측하는 DFlash2 추측 디코딩, CUDA 그래프 융합, NVIDIA SM121 아키텍처에 맞춰 조정한 커널을 씁니다. 메모리를 위해 INT4 가중치, KV 캐시 양자화, 임베딩 메모리 공유, CPU 오프로딩을 조합합니다. 4비트 양자화로 모델은 약 18 GB입니다. VRAM 24 GB의 GPU에서 최대 64K 토큰 컨텍스트로 실행할 수 있고, 32 GB 이상의 GPU는 모델 최대치인 262K 토큰까지 더 긴 컨텍스트를 지원할 수 있습니다. 프리픽스 캐싱과 연속 배칭이 반복 프롬프트와 병렬 요청을 처리합니다.

llama.cpp와의 비교는 조심스럽게 읽어야 합니다. Microsoft는 VRAM 32 GB의 NVIDIA GeForce RTX 5090과 통합 메모리 128 GB의 NVIDIA DGX Spark에서 실제 GitHub 이슈 데이터셋으로 4비트 모델을 시험했고, 시험한 모든 프롬프트 길이에서 Foundry Local이 토큰을 더 빨리 생성했으며 131K 토큰을 넘으면 격차가 벌어진다고 말합니다. 글은 비교에 4비트 모델을 썼다고 밝히지만, 본문에는 초당 토큰 수, llama.cpp의 구체적인 양자화 형식·버전·전체 설정, 답변 품질 지표가 없습니다. 그래프에는 숫자가 있을 수 있지만 명시된 방법과 대조해 확인할 수 없었으므로, 이 결과는 두 대의 기계에서의 상대적 생성 속도에 대한 공급사의 주장입니다.

설정에는 분명한 제한이 있습니다. Foundry Local CLI 0.13.0 이상이 필요하며, 글은 이 버전에 이러한 최적화가 들어 있다고 말합니다. 설치는 WinGet으로 하고 명령은 Windows 배치 명령이며, NVIDIA GPU 실행에는 CUDA와 호환되는 cuDNN 런타임을 따로 설치해야 합니다. Foundry Local이 내려받지 않기 때문입니다. `foundry model load qwen3.8-27b` 뒤에 `foundry server status`에서 엔드포인트를 확인하고, GitHub Copilot 앱에서 Foundry Local을 모델 제공자로 추가한 다음 모델 선택기에서 Qwen3.8-27B를 고릅니다. Mac과 AMD GPU는 앞으로의 과제로 적혀 있으므로 지금은 VRAM 24 GB 이상의 NVIDIA 하드웨어를 대상으로 한 글입니다.

GitHub에서 한 확인은 카탈로그의 경위를 보여 줍니다. 한 사용자가 8월 19일에 Qwen3.8-27B를 Foundry Local 카탈로그에 추가해 달라고 요청했고, 저장소 협력자가 11월 4일에 카탈로그에서 이제 이용할 수 있다고 답했습니다. 블로그 글의 날짜와 맞습니다. 이 스레드는 커뮤니티의 요청이므로 카탈로그 등재는 확인해 주지만 지원 수준에 대해서는 아무것도 알려 주지 않습니다.

저희의 판단은, 메모리가 큰 NVIDIA GPU를 가졌고 개인용 코딩 어시스턴트를 원하는 개발자에게 실용적인 안내이며, 더 작은 로컬 모델은 고급 클라우드 모델보다 추론 능력이 제한될 수 있다고 밝힌다는 것입니다. 속도 주장은 검증되지 않은 것으로 다루고, 자신의 저장소에서 시험하며, 클라우드 모델을 대체하기 전에 24 GB 카드의 64K 컨텍스트가 작업에 충분한지 확인하십시오.