Kapitel 4: Das Bigramm-Modell – das einfachste Sprachmodell

Dieses Kapitel zeigt, wie man ein zeichenbasiertes Bigramm-Sprachmodell baut, das das nächste Zeichen allein aus dem aktuellen Zeichen vorhersagt. Statt neuronaler Netze, Gradienten oder trainierbarer Parameter verwendet es lediglich Häufigkeitszählungen benachbarter Zeichenpaare im Datensatz. Damit bietet der Beitrag einen klaren und praktischen Einstieg in das Grundprinzip, wie Sprachmodelle Übergänge zwischen Tokens lernen, bevor komplexere generative Verfahren ins Spiel kommen.