AI Engineering From Scratch: Open-Source-Kurs

Hintergrund

Lernmaterial zum KI-Engineering fällt meist in zwei Gruppen. Die einen erklären Theorie in Papers und Lehrbüchern. Die anderen bieten schnelle Tutorials, die eine fertige Schnittstelle aufrufen. Wer nur Theorie liest, baut oft kein lauffähiges System. Wer nur Schnittstellen aufruft, kann kaum erklären, warum sein System scheitert. Genau an dieser Lücke setzt ai-engineering-from-scratch an.

Das Projekt beschreibt sein Ziel klar: Lernende implementieren Modellinterna, Retrieval-Pipelines und Agenten-Laufzeiten, testen sie, untersuchen die Fehlschläge und behalten Code sowie Evaluationsergebnisse. Es ist kein Framework und kein Modell, sondern ein vollständiges Kursrepository. Die Nutzung ist kostenlos, die Lizenz ist MIT. Laut Quelle hat das Repository auf GitHub mehr als 70.000 Sterne gesammelt. Das spricht dafür, dass viele Lernende den Weg von Grund auf schätzen.

Am auffälligsten ist der Umfang. Das Repository nennt 542 Lektionen in 20 Phasen, mit Code in Python, TypeScript, Rust und Julia. Die Phasen beginnen bei Umgebung und Werkzeugkette, führen über mathematische Grundlagen und Machine-Learning-Basics und enden bei LLM-Engineering und Agenten-Engineering. Einstiegsseiten der Dokumentation gibt es in mehr als dreißig Sprachen, darunter Deutsch, Japanisch, Koreanisch und Arabisch. Für einen Kurs dieser Art ist das ungewöhnlich breit.

Tiefenanalyse

Was ist ai-engineering-from-scratch, und wie vermittelt der Kurs KI-Engineering? Es ist ein kostenloser Open-Source-Kurs unter MIT-Lizenz mit 542 Lektionen in 20 Phasen. Lernende bauen die Teile eines KI-Systems selbst, testen sie und bewahren die Evaluationsergebnisse auf. Der Kurs bleibt nicht bei Erklärungen stehen. Er verlangt lauffähigen Code und dokumentierte Belege. Drei Einstiegspfade stehen zur Wahl. Wer solide Modellgrundlagen sucht, beginnt mit der Einrichtung der Entwicklungsumgebung. Wer LLM-Systeme bauen will, startet beim Prompt Engineering. Wer sich für Agenten und Auslieferung interessiert, beginnt mit der Agentenschleife. So steigen Menschen mit unterschiedlichem Hintergrund an einer sinnvollen Stelle ein und müssen nicht alle Lektionen der Reihe nach lesen. Die Mathematik-Lektionen setzen auf Interaktion statt auf Formeln allein. Die Lektion zur Optimierung enthält eine Visualisierung des Gradientenabstiegs. Zwanzig Startpunkte wandern über eine quadratische Verlustfläche. Die Seite zeigt ihre Positionen und den mittleren Verlust nach jedem Update. Lernende können die Lernrate ändern und die Wirkung beobachten. Im Code vergleichen sie Gradientenabstieg, Momentum und Adam. Erst das Verhalten zeigen, dann die Implementierung lesen: Das stärkt die Intuition. Die Praxisprojekte zeigen die Haltung des Kurses am besten. Es gibt drei Projekte, jeweils mit gestuftem Startcode, Referenzimplementierung und lokalem Bewertungstool. Der Startcode scheitert bewusst, bis die Lernenden die einzelnen Stufen umgesetzt haben. Das erste Projekt, das Labor zur Retrieval-Evaluation, nutzt ein realistisches Szenario: Ein neues Retrieval-System erhöht den mittleren NDCG, doch bei einer Anfrage rutscht der relevanteste Beleg nach hinten. Die Aufgabe lautet, einen Vergleich pro Anfrage zu schreiben, die Verschlechterung zu melden und eine Freigabeprüfung so zu bauen, dass sie diese Version stoppt.

Voraussetzung ist Python 3.10 oder neuer. Die Quelle rät, vorher die Lektionen zu RAG und Modellevaluation zu wiederholen. Danach folgen Rangvalidierung, Precision und Recall, positionssensitive Metriken und zuletzt der Systemvergleich. Das Projektverzeichnis entsteht mit scripts/project_test.py und dem Projektnamen. Die Abnahme läuft stufenweise oder vollständig, auch im strengen Modus. Als Ergebnis bleibt ein reproduzierbarer Vergleich mit den Differenzen pro Anfrage und den Urteilen, die der Bewertung zugrunde liegen. Die Quelle erinnert daran, dass eine Metrik nur diese Urteile beschreibt.

Branchenwirkung

Sobald KI-Anwendungen in Produktion gehen, fehlt Teams oft nicht ein weiteres Aufrufbeispiel. Es fehlen Leute, die ein System zerlegen, eine Verschlechterung aufspüren und eine Regressionsprüfung schreiben können. Der Kurs stellt Evaluation, Fehleranalyse und das Aufbewahren der Ergebnisse in den Mittelpunkt. Das passt zum Retrieval-Labor, in dem sich ein Durchschnittswert verbessert, während eine wichtige Anfrage schlechter wird.

Für einzelne Entwickler bietet der Kurs einen systematischen Weg, Lücken zu schließen. Wer bisher nur gehostete Modelle angesprochen hat, lernt, was in einem Modell, einer Retrieval-Pipeline oder einer Agentenschleife passiert. Für Teams sind die Projekte eine Übung in Evaluation und Regressionsprüfung. Das lokale Bewertungstool erlaubt es, die Aufgaben ohne gehosteten Dienst durchzuspielen. Auch die mehrsprachige Dokumentation und die vier Codesprachen erweitern die Zielgruppe. Rust- und Julia-Lektionen stehen neben Python und TypeScript. Wer aus der Systemprogrammierung oder dem wissenschaftlichen Rechnen kommt, bleibt nicht außen vor. Die Risiken sind ebenso klar. Der Kurs ist groß, und ohne eigenen Zeitplan brechen Lernende leicht ab. Viele Dokumentationssprachen und vier Codesprachen sind eine dauerhafte Wartungslast. Ob Übersetzungen und Beispiele mit neuen Änderungen Schritt halten, bleibt offen. Das Projekt finanziert seine Kostenfreiheit über Sponsoring, seine Dauerhaftigkeit hängt also von der Unterstützung der Community ab. Außerdem zeigt die Repository-Beschreibung nur einen Teil der Inhalte. Die tatsächliche Qualität der Lektionen lässt sich nur durch Ausprobieren beurteilen.

Ausblick

Drei Punkte verdienen Aufmerksamkeit. Erstens: Wie viele Praxisprojekte kommen zu den bisherigen drei hinzu? Zweitens: Kann das lokale Bewertungstool mehr Agenten-Szenarien abdecken? Agenten-Laufzeiten lassen sich schwerer bewerten als Ranking-Metriken. Drittens: Bildet die Community stabile Beiträge und Diskussionen rund um die Lektionen?

Wer systematisch einsteigen oder Lücken schließen will, kann den Kurs günstig prüfen. Man wählt einen der drei Pfade und liest einige Lektionen. Danach probiert man ein Projekt aus, etwa das Labor zur Retrieval-Evaluation, und sieht, ob gestufter Startcode und lokales Bewertungstool zum eigenen Lernstil passen. Wer das Projekt abschließt, hat einen reproduzierbaren Vergleich mit Differenzen pro Anfrage. Das ist ein brauchbarer Beleg für Evaluationskompetenz.