牛皮

牛皮！Andrej Karpathy 发布了一个从零构建 LLM 训练和推理的项目：nanochat

基本上跟着学就可以了解 LLM 训练的所有步骤了

只需要 100 美元的算力成本就可以训练出可以对话的模型，而且会带有一个 UI 界面，只有 8000 行代码

项目覆盖从分词、预训练、对齐到推理与 WebUI 的完整闭环，会是他 LLM

Andrej Karpathy @karpathy Excited to release new repo: nanochat! (it's among the most unhinged I've written).

Unlike my earlier similar repo nanoGPT which only covered pretraining, nanochat is a minimal, from scratch, full-stack training/inference pipeline of a simple ChatGPT clone in a single,

原链接