Microsoft zeigt Qwen3.8-27B in Foundry Local mit GitHub Copilot: 64K Kontext bei 24 GB NVIDIA-VRAM; konkrete Geschwindigkeiten fehlen im Text, Diagrammwerte und vollständige Methode sind ungeprüft

Am 5. November 2026 hat Microsoft auf seinem Foundry-Blog gezeigt, wie sich das offene Coding-Modell Qwen3.8-27B mit Foundry Local lokal ausführen und per Bring Your Own Key (BYOK) an GitHub Copilot anbinden lässt. Das Versprechen: Code und Kontext bleiben auf dem Rechner des Entwicklers, die Inferenzkosten sind planbar, und die Arbeit geht auch offline weiter. Der Beitrag ist eine Anleitung mit einer Leistungsaussage, und der Text keine konkrete Geschwindigkeit nennt; die Werte der beiden Diagramme und die vollständige Methode wurden hier nicht geprüft. Geprüft wurde nur die Beschreibung lokaler Inferenz und der Copilot-Endpunktverbindung; ob IDE, Anmeldung, Telemetrie und Werkzeugkette insgesamt offline funktionieren, haben wir nicht getestet.

Das Modell ist Qwen3.8-27B, das der unten beschriebene GitHub-Anfrage-Thread Alibaba zuschreibt. Microsoft nennt es das wichtigste Optimierungsziel, weil es Programmierfähigkeit mit einer für lokalen Einsatz passenden Größe verbindet, und zeigt Benchmark-Werte, die es als veröffentlicht beschreibt: 73,0 bei Terminal Bench 2.1, 61,7 bei SWE-bench Pro, 42,3 bei NL2Repo-Bench und 42,2 bei DeepSWE 1.1. Der Beitrag verlinkt sie als veröffentlichte Benchmarks, sagt nicht, dass Microsoft diese Tests durchgeführt hat, und vergleicht das Modell nicht mit Cloud-Modellen. Er sagt offen, lokale Modelle könnten im Schlussfolgern gegenüber fortgeschrittenen Cloud-Modellen eingeschränkt sein, und empfiehlt einen hybriden Ablauf: lokal für alltägliches Programmieren und gezielte Teilaufgaben, Cloud für schwierige Arbeit mit hohem Schlussfolgerungsbedarf.

Die technischen Aussagen betreffen die Frage, wie das Modell auf Endverbraucher-Hardware passt. Foundry Local nutzt ONNX Runtime, um den gesamten Inferenzpfad auf NVIDIA-GPUs zu optimieren. Für die Geschwindigkeit setzt es spekulatives Dekodieren mit DFlash2 ein, bei dem ein kleines Entwurfsmodell mehrere Tokens auf einmal vorhersagt, dazu CUDA-Graph-Fusionen und Kernel, die auf die NVIDIA-Architektur SM121 abgestimmt sind. Für den Speicher kombiniert es INT4-Gewichte, KV-Cache-Quantisierung, gemeinsam genutzten Embedding-Speicher und CPU-Auslagerung. Mit 4-Bit-Quantisierung ist das Modell etwa 18 GB groß. Eine GPU mit 24 GB VRAM kann es mit einem Kontextfenster von bis zu 64K Tokens ausführen, eine GPU mit 32 GB oder mehr unterstützt längere Kontexte bis zum Modellmaximum von 262K Tokens. Prefix-Caching und kontinuierliches Batching bedienen wiederholte Prompts und parallele Anfragen.

Der Vergleich mit llama.cpp verlangt genaues Lesen. Microsoft testete das 4-Bit-Modell auf einer NVIDIA GeForce RTX 5090 mit 32 GB VRAM und auf einem NVIDIA DGX Spark mit 128 GB vereinheitlichtem Speicher, mit einem Datensatz echter GitHub-Issues, und sagt, Foundry Local habe bei jeder getesteten Prompt-Länge schneller Tokens erzeugt, wobei der Abstand jenseits von 131K Tokens wachse. Der Beitrag nennt das getestete Modell als 4-Bit-Modell, gibt im Text aber weder Tokens pro Sekunde noch das genaue Quantisierungsformat, die Version oder die vollständigen Einstellungen von llama.cpp oder ein Maß für die Antwortqualität an. Die Diagramme zeigen vielleicht Zahlen, aber wir konnten sie nicht an einer angegebenen Methode prüfen; das Ergebnis ist daher eine Herstelleraussage zur relativen Erzeugungsgeschwindigkeit auf zwei Maschinen.

Die Einrichtung hat klare Grenzen. Sie braucht die Foundry Local CLI 0.13.0 oder neuer, die laut Beitrag diese Optimierungen enthält. Die Installation läuft über WinGet, die Befehle sind Windows-Batch-Befehle, und für die Ausführung auf NVIDIA-GPUs müssen CUDA und eine kompatible cuDNN-Laufzeit separat installiert werden, weil Foundry Local sie nicht herunterlädt. Nach `foundry model load qwen3.8-27b` liest man den Endpunkt mit `foundry server status` aus, fügt Foundry Local in der GitHub-Copilot-App als Modellanbieter hinzu und wählt Qwen3.8-27B im Modellwähler. Macs und AMD-GPUs sind als künftige Arbeit genannt; der Beitrag richtet sich also vorerst an NVIDIA-Hardware mit mindestens 24 GB VRAM.

Eine Gegenprüfung auf GitHub zeigt die Katalogchronik. Ein Nutzer bat am 19. August darum, Qwen3.8-27B in den Foundry-Local-Katalog aufzunehmen, und ein Mitarbeiter des Repositorys antwortete am 4. November, es sei nun im Katalog verfügbar. Das passt zum Datum des Blogbeitrags. Der Thread ist eine Anfrage aus der Community; er bestätigt die Aufnahme in den Katalog, sagt aber nichts über die Unterstützungsstufe.

Unsere Einschätzung: Das ist eine praktische Anleitung für Entwickler mit einer NVIDIA-GPU mit viel Speicher, die einen privaten Coding-Assistenten wollen, und sie weist darauf hin, dass kleinere lokale Modelle gegenüber fortschrittlichen Cloud-Modellen beim Schlussfolgern eingeschränkt sein können. Behandeln Sie die Geschwindigkeitsaussage als ungeprüft, testen Sie mit Ihrem eigenen Repository und prüfen Sie, ob 64K Kontext auf einer 24-GB-Karte für Ihre Aufgaben reicht, bevor Sie ein Cloud-Modell ersetzen.