Nano Chat: 소형 언어 모델 전체 파이프라인

Andrej Karpathy의 Nano Chat은 ChatGPT급 대화 모델을 처음부터 구축하는 교육 프로젝트다. BPE 토크나이저 훈련, Transformer 사전훈련, 대화 정렬, 챗 UI 배포의 전체 파이프라인을 다룬다. 561M 파라미터 버전은 8xH100에서 약 100달러로 훈련 가능하다. 2026년 소형 언어 모델 르네상스를 반영하며, 많은 실제 작업에 조 단위 파라미터가 불필요함을 증명한다.