AI Engineering From Scratch : cours open source

Contexte

Les ressources pour apprendre l'ingénierie IA se répartissent en deux familles. D'un côté, les articles de recherche et les manuels qui expliquent la théorie. De l'autre, les tutoriels rapides qui appellent une API toute prête. Les premiers laissent souvent le lecteur incapable de livrer un système qui fonctionne. Les seconds ne lui permettent pas d'expliquer pourquoi son système échoue. ai-engineering-from-scratch cible cet entre-deux.

Le projet formule son but sans détour : implémenter les rouages d'un modèle, des pipelines de recherche et des environnements d'exécution d'agents, puis les tester, examiner les échecs et conserver le code ainsi que les résultats d'évaluation. Ce n'est ni un framework ni un modèle, mais un dépôt de cours complet, gratuit et sous licence MIT. Selon la source, il compte plus de soixante-dix mille étoiles sur GitHub, ce qui laisse penser qu'une démarche partant de zéro séduit de nombreux apprenants.

L'ampleur est le trait le plus visible : 542 leçons en 20 phases, avec du code en Python, TypeScript, Rust et Julia. Les phases commencent par la configuration de l'environnement et des outils, traversent les bases mathématiques et l'apprentissage automatique, puis arrivent à l'ingénierie des LLM et à celle des agents. La documentation est proposée dans plus de trente langues, dont le chinois simplifié et traditionnel, le japonais, le coréen, l'espagnol, l'allemand et l'arabe.

Analyse approfondie

Qu'est-ce que ai-engineering-from-scratch et comment enseigne-t-il l'ingénierie IA ? C'est un cours open source gratuit, sous licence MIT, de 542 leçons réparties en 20 phases. Les apprenants construisent à la main les composants d'un système d'IA, puis les testent et conservent les résultats d'évaluation. Le cours ne s'arrête pas à l'explication : il exige du code qui tourne et des preuves consignées. Trois parcours d'entrée sont proposés. Qui veut des fondations solides sur les modèles commence par la configuration de l'environnement de développement. Qui veut bâtir des systèmes LLM commence par l'ingénierie des prompts. Qui vise les agents et la livraison commence par la boucle d'agent. Chacun entre ainsi au bon endroit, sans lire les 542 leçons dans l'ordre. Les mathématiques passent par l'interaction plutôt que par les seules formules. La leçon d'optimisation contient une visualisation de la descente de gradient : vingt points de départ descendent une surface de perte quadratique, et la page affiche leurs positions et la perte moyenne après chaque mise à jour. L'apprenant peut modifier le taux d'apprentissage et observer l'effet, puis comparer en code la descente de gradient, le momentum et Adam. Voir d'abord le comportement, lire ensuite l'implémentation : cette approche aide à bâtir l'intuition.

Les projets pratiques traduisent le mieux l'état d'esprit du cours. Le dépôt en propose trois, chacun avec un code de départ progressif, une implémentation de référence et un correcteur local. Le code de départ est conçu pour échouer tant que l'apprenant n'a pas implémenté chaque étape. Le premier projet, le labo d'évaluation de la recherche, part d'un scénario réaliste : une nouvelle version du moteur de recherche améliore le NDCG moyen, mais une requête classe désormais sa preuve la plus pertinente plus bas. Il faut rédiger une comparaison requête par requête, signaler la régression et permettre à un contrôle de publication de bloquer cette version. Le projet demande Python 3.10 ou plus récent. La source conseille de revoir d'abord les leçons sur le RAG et l'évaluation des modèles. L'apprenant implémente ensuite la validation du classement, la précision et le rappel, puis des métriques sensibles au rang, et termine par la comparaison de systèmes. Le livrable est une comparaison reproductible, avec l'écart pour chaque requête et les jugements utilisés pour la notation. La source rappelle qu'une métrique ne décrit que ces jugements.

Impact sur l'industrie

Quand les applications d'IA arrivent en production, les équipes manquent moins d'un exemple d'appel d'API supplémentaire que de personnes capables de démonter un système, de localiser une régression et d'écrire le contrôle qui l'attrape. Ce cours place l'évaluation, l'examen des échecs et la conservation des résultats au cœur du parcours. Le labo d'évaluation de la recherche l'illustre : une moyenne progresse alors qu'une requête importante se dégrade.

Pour un développeur isolé, le cours offre un moyen méthodique de combler ses lacunes. Celui qui n'a fait qu'appeler des modèles hébergés découvre ce qui se passe dans un modèle, un pipeline de recherche ou une boucle d'agent. Pour une équipe, les projets servent d'entraînement aux contrôles d'évaluation et de régression, et le correcteur local permet de les exécuter sans service hébergé. La présence de Rust et de Julia aux côtés de Python et de TypeScript élargit aussi le public.

Les risques sont réels. Le volume est considérable et les apprenants peuvent abandonner sans rythme personnel. Maintenir de nombreuses langues de documentation et quatre langages de code pèse sur la durée : il faudra voir si traductions et exemples suivent les évolutions. Le projet dépend du parrainage pour rester gratuit, donc du soutien de la communauté. Enfin, la présentation du dépôt n'expose qu'une partie du contenu : la qualité réelle des leçons ne se juge qu'à l'essai.

Perspectives

Trois signaux méritent l'attention. Le premier est le nombre de projets pratiques ajoutés aux trois actuels. Le deuxième est la capacité du correcteur local à couvrir davantage de scénarios d'agents, plus difficiles à noter que des métriques de classement. Le troisième est l'apparition d'une communauté qui contribue et discute de façon régulière autour des leçons.

Pour un développeur qui veut une base systématique ou une remise à niveau, le coût de l'essai est faible. Il suffit de choisir l'un des trois parcours et d'étudier quelques leçons, puis de tenter un projet comme le labo d'évaluation de la recherche. Qui le termine repart avec une comparaison reproductible, écarts par requête à l'appui : une preuve concrète de sa maîtrise de l'évaluation.