Chapitre 4 : le modèle bigramme, le modèle de langage le plus simple

Ce chapitre explique comment construire un modèle de langage à base de bigrammes au niveau des caractères, qui prédit le caractère suivant uniquement à partir du caractère courant. Aucun réseau de neurones, aucun gradient, aucun paramètre à entraîner : le modèle repose simplement sur le comptage des paires de caractères consécutifs dans les données. C’est une introduction claire et concrète à la manière dont un modèle de langage apprend les transitions entre tokens avant d’aborder des approches plus avancées.