Nano Chat：从零搭建小语言模型全流程——分词到部署

Andrej Karpathy的Nano Chat教育專案展示從零構建ChatGPT級別對話模型的完整流程：BPE分詞器訓練、Transformer預訓練、對話對齊微調和Web UI部署。561M參數版約100美元在8xH100訓練。反映2026年小語言模型復興——許多任務不需萬億參數，5-20億即可滿足需求，具低延遲、邊緣運行和隱私友好等優勢。