Microsoft演示Foundry Local运行Qwen3.8-27B并连接GitHub Copilot：24 GB NVIDIA显存对应64K上下文；正文未列具体速度，图表数值和完整方法未核验

2026年11月5日，Microsoft在Foundry博客上发布文章，演示如何用Foundry Local在本地运行开放的编码模型Qwen3.8-27B，并通过自带密钥（Bring Your Own Key，BYOK）接入GitHub Copilot。它的卖点是代码和上下文留在开发者自己的机器上，推理成本可预测，离线也能继续工作。这是一篇带有性能说法的操作指南，正文没有具体速度数字；两张图表的数值及完整方法本次未核验。 这里仅核对了模型本地推理和Copilot端点连接的说明，未断网实测整个IDE、认证、遥测及工具链是否全程离线。

模型是Qwen3.8-27B，下文说明的GitHub请求帖把它归于Alibaba。Microsoft称它是主要优化对象，因为它兼具编码能力和适合本地使用的体量，并列出被它称为“已发布”的基准成绩：Terminal Bench 2.1为73.0，SWE-bench Pro为61.7，NL2Repo-Bench为42.3，DeepSWE 1.1为42.2。文章把它们链接为已发布的基准，没有说这些测试由Microsoft运行，也没有拿这个模型与云端模型比较。它明确说，本地模型的推理能力可能比先进的云端模型有限，并建议混合用法：日常编码和针对性的小任务用本地，困难、需要强推理的工作用云端。

工程方面的说法都是关于如何让模型装进消费级硬件。Foundry Local用ONNX Runtime优化NVIDIA GPU上的整条推理路径。速度上，它用DFlash2推测解码（一个小的草稿模型一次预测多个token），加上CUDA图融合和针对NVIDIA SM121架构调优的内核。内存上，它组合了INT4权重、KV缓存量化、共享嵌入内存和CPU卸载。4位量化后模型约18 GB。24 GB显存的GPU可以运行它，上下文窗口最多64K token；32 GB或更多显存的GPU可以支持更长的上下文，直到模型的最大值262K token。前缀缓存和连续批处理用于重复提示和并行请求。

与llama.cpp的对比要小心读。Microsoft在32 GB显存的NVIDIA GeForce RTX 5090和128 GB统一内存的NVIDIA DGX Spark上测试4位模型，用的是真实GitHub议题数据集，称Foundry Local在每个测试的提示长度下生成token都更快，超过131K token后差距变大。文章已说明比较使用4位模型，但正文没有给出每秒token数、llama.cpp的具体量化格式、版本和完整设置，也没有任何回答质量的度量。图表里可能有数字，但我们无法对照一个写明的方法去核对，所以这个结果只是厂商对两台机器上相对生成速度的说法。

安装有明确限制。它需要Foundry Local CLI 0.13.0或更高版本，文章说该版本包含这些优化。安装用WinGet，命令是Windows批处理命令，NVIDIA GPU执行需要另外安装CUDA和兼容的cuDNN运行库，因为Foundry Local不会下载它们。运行`foundry model load qwen3.8-27b`后，用户从`foundry server status`读取端点，然后在GitHub Copilot应用里把Foundry Local添加为模型提供方，并在模型选择器里选Qwen3.8-27B。Mac和AMD GPU被列为后续工作，所以目前这篇文章针对的是至少24 GB显存的NVIDIA硬件。

在GitHub上做的佐证检查能看到目录的历史。一位用户8月19日请求把Qwen3.8-27B加入Foundry Local目录，一位仓库协作者11月4日回复说它现已在目录中可用。这与博客文章的日期吻合。这个帖子是社区请求，所以它只能确认目录上架，说明不了支持级别。

背景说明：投机解码是让一个小模型先猜出接下来的几个token，再由大模型一次性检验，猜对的部分可以省下逐个生成的时间。KV缓存保存已经处理过的上下文，把它量化可以省显存，但可能影响精度，文章没有给出这方面的影响。BYOK指由用户提供自己的模型端点和密钥，让Copilot调用你选的模型，而不是GitHub默认提供的模型。SWE-bench Pro、Terminal Bench等是公开的编码评测，分数只说明该模型在这些题目上的表现，不等于它在你的代码库里的表现，所以文章里的四个分数只能当作参考。对读者来说，最实用的做法是把这篇文章当作一份兼容性清单：先确认显卡显存、CUDA与cuDNN版本、Foundry Local版本，再在一个小仓库里试跑，记录首个token的等待时间、长上下文下的生成速度，以及它在你常见任务上是否经常需要退回云端模型。这样得到的数据，比文章图表里的相对比较更有参考价值。文章还提醒，较小的本地模型在复杂推理上可能不如先进云端模型，所以混合用法的关键是事先约定哪类任务留在本地、哪类任务交给云端，并在团队内统一设置，避免每个人各自凭感觉切换，也方便事后比较两边的结果。

我们的判断：这是给有大显存NVIDIA GPU、想要私有编码助手的开发者的实用指南，并提醒较小的本地模型在复杂推理上可能弱于先进云端模型。把速度说法当作未验证，在自己的代码库上测试，并在替换云端模型之前，确认24 GB显卡上的64K上下文是否够你的任务用。