GitHub Trending上突然杀出一个5万多星的项目，扫了一眼，有点东西
GitHub Trending上突然杀出一个5万多星的项目，扫了一眼，有点东西！
它教你从头训一个超小语言模型，参数量才25.8M，最小的版本体积大概只有GPT-3的1/2700，就这么一丢丢大。
摊开来看：
1️⃣ 分词器的训练方法，代码直接开源 2️⃣ 预训练到微调的全链路，一步都没省 3️⃣ 还搭了一个能看图的MiniMind-V
GitHub Trending上突然杀出一个5万多星的项目，扫了一眼，有点东西！
它教你从头训一个超小语言模型，参数量才25.8M，最小的版本体积大概只有GPT-3的1/2700，就这么一丢丢大。
摊开来看：
1️⃣ 分词器的训练方法，代码直接开源 2️⃣ 预训练到微调的全链路，一步都没省 3️⃣ 还搭了一个能看图的MiniMind-V