Leon: Quelloffener persönlicher Assistent mit Absichts-Fokus und Offline-Betrieb, Kern wird in TypeScript neu geschrieben

Einordnung: ein quelloffener persönlicher Assistent auf dem eigenen Server

Leon ist ein quelloffener persönlicher Assistent unter MIT-Lizenz. Sein Motto lautet: „Dein quelloffener persönlicher Assistent“. Er ist kein weiterer Cloud-Chatbot. Er ist ein dauerhaft laufendes Programm, das Sie auf Ihrem eigenen Server betreiben. Sie können mit ihm sprechen, und er kann antworten. Sie können ihm schreiben, und er kann Ihnen schreiben. Vor allem kann er vollständig offline laufen und so Ihre Privatsphäre schützen. Mitten im Boom der großen Sprachmodelle läuft diese Haltung gegen den Strom. Gerade deshalb lohnt sich ein genauer Blick.

Der Autor nennt fünf Gründe für das Projekt. Erstens: Entwickler wollen viele kleine Werkzeuge für den Alltag bauen. Statt pro Idee ein eigenes Projekt anzulegen, bietet Leon eine einheitliche Skill-Struktur. Zweitens: Diese allgemeine Struktur lässt jeden Skills schreiben und teilen, sodass es nur einen Kern gibt. Drittens: Leon nutzt KI-Konzepte, was Freude macht. Viertens: Privatsphäre zählt, und Leon lässt sich für Offline-Gespräche ohne Drittanbieter-Dienste einrichten. Fünftens: Open Source ist großartig.

Kernarchitektur: mehrere zusammenarbeitende Knoten

Laut README enthält das Repository mehrere Knoten von Leon: den Server, die Skills, die Web-App, den Hotword-Knoten, den TCP-Server und die Python-Brücke. Der TCP-Server übernimmt die Kommunikation zwischen Prozessen, etwa zwischen Leon und Drittknoten wie spaCy. Diese Aufteilung in einen Hauptprozess und einige spezialisierte Helfer ist pragmatisch. Der Großteil der Werkzeuge für die Sprachverarbeitung lebt in Python. Server und Web-Client passen besser zu TypeScript. Eine lokale TCP-Verbindung bringt beide Welten zusammen, und jede Seite behält ihre Stärken.

Die neueste Version 1.0.0-beta.8 trägt im Projektblog den Titel „Binaries and TypeScript rewrite“. Daraus folgen zwei Dinge. Der Kern wird in TypeScript neu geschrieben, und das Projekt liefert jetzt vorgebaute Binärdateien aus, um die Installation zu erleichtern. Das README erwähnt außerdem eine künftige JavaScript-Brücke neben der heutigen Python-Brücke. Skill-Autoren können dann in der Sprache schreiben, die sie am besten kennen.

Funktionsweise: Sprachverstehen mit Absichten im Mittelpunkt

Leons Sprachverstehen (NLU) arbeitet nach dem Prinzip „intents first“, also absichtsorientiert. Es nutzt ein eigenes trainiertes Modell und verlässt sich nicht auf ein großes Sprachmodell. Der Ablauf sieht grob so aus. Die Äußerung des Nutzers, getippt oder aus Sprache transkribiert, wird einer Absicht zugeordnet. Zugleich werden benannte Entitäten extrahiert. Die Anfrage geht dann an den passenden Skill, der die Antwort erzeugt. Die Vorteile liegen auf der Hand: kleine Modelle, schnelle Inferenz, vorhersagbare Ergebnisse und vollständiger Offline-Betrieb auf Edge-Hardware. Der Preis ist ebenso klar. Leon kann nur Absichten verarbeiten, die jemand vorher definiert hat, und seine Verallgemeinerung bleibt weit hinter der eines LLM zurück.

Der Autor sieht diesen Zielkonflikt nüchtern. Das README nennt vier mögliche künftige Einsatzfelder für ein LLM. Erstens ein Rückfall bei Absichten: Passt eine Äußerung zu keiner Absicht, liefert ein LLM das Ergebnis. Zweitens eine neue Engine zur Erkennung benannter Entitäten, die Früchte, Zahlen, Städte, Zeitspannen und Personen besser extrahiert. Drittens Skill-Funktionen: Skills erhalten Zusammenfassung, Übersetzung und Stimmungsanalyse sofort einsatzbereit. Viertens Hilfe beim Skill-Bau: Beispieläußerungen umformulieren, Antworten übersetzen und Code zwischen der Python-Brücke und der künftigen JavaScript-Brücke umwandeln. Der Autor setzt darauf, dass Verkleinerungstechniken wie Quantisierung es Leon eines Tages erlauben, ein LLM im Kern zu führen und trotzdem am Rand des Netzes zu laufen.

Leistung und Kosten: Das README nennt keine Benchmarks

Wir sagen es offen: Das README veröffentlicht keine Benchmark-Daten. Es gibt keine Latenzwerte, keine Genauigkeitswerte und keinen Ressourcenvergleich. Dieser Artikel erfindet daher keine Zahlen. Aus der Architektur lassen sich nur die Abwägungen ableiten.

Ein kleines, absichtsorientiertes Modell ist im Betrieb sehr günstig und verursacht kaum nutzungsabhängige Inferenzkosten. Der Preis ist die Abdeckung: Was Leon kann, hängt davon ab, wie viele Skills die Gemeinschaft schreibt und wie viele Beispieläußerungen jede Absicht braucht. Käme später ein quantisiertes lokales LLM hinzu, würden Speicherbedarf und Latenz der ersten Antwort zu den wichtigsten neuen Kosten. Deshalb betont der Autor immer wieder die Lauffähigkeit am Rand.

Ökosystem und Folgen für die Einführung

Für Entwickler liegt Leons Wert in der Skill-Abstraktion. Jede kleine Idee wird zum Skill und nutzt dieselbe Sprach-, Text-, NLU- und Bereitstellungstechnik.

Für datenschutzbewusste Einzelpersonen und kleine Teams sind Selbsthosting und Offline-Betrieb harte Anforderungen, und Leon ist eine der wenigen vollständigen Open-Source-Antworten darauf. Der Autor schreibt zudem, dass es mit der Skill-Plattform leichter wird, Fortschritte abzugleichen und neue Skills zu veröffentlichen. Geplant sind ein besser organisierter Discord, regelmäßige Calls und gemeinsame Arbeit an Skills.

Grenzen und Herausforderungen

Erstens ist die Lage des Projekts nicht einfach. Der Autor sagt, er arbeite aus persönlichen Gründen nur nach Feierabend und am Wochenende am neuen Kern. Um Konflikte mit vielen inkompatiblen Änderungen zu vermeiden, sind externe Beiträge vorerst gesperrt. Neue Dokumentation und neue Tests entstehen erst nach der offiziellen Veröffentlichung des neuen Kerns.

Zweitens hat die absichtsorientierte NLU eine begrenzte Abdeckung und braucht einen LLM-Rückfall, der noch in Planung ist. Drittens ist Geld ein echter Engpass. Der Autor hofft, eines Tages in Vollzeit an Leon zu arbeiten, und hat Ideen zur Monetarisierung, verspricht aber, dass der Kern immer quelloffen bleibt. Sponsoring wird heute schon angenommen.

Ausblick

Zu erwarten sind die offizielle Veröffentlichung des neuen Kerns, der Start der Skill-Plattform, die JavaScript-Brücke und der LLM-Rückfall sowie mehr Gemeinschaftsarbeit über Discord und regelmäßige Calls. Zwei Fragen sind entscheidend. Öffnen sich Beiträge wieder, sobald der neue Kern erscheint?

Und kann die LLM-Anbindung wirklich offline nutzbar bleiben? Bis dahin ist Leon ein Langzeitprojekt mit klarer Idee, das sein Fundament noch neu baut. Die Idee ist lehrreich. Vor jedem Produktiveinsatz sollten Sie den neuesten Branch und die Release-Notizen prüfen.