用17K从DeepSeek R1 蒸馏的SFT数据，微调Qwen2.5-32B，效果非常不错
用17K从DeepSeek R1 蒸馏的SFT数据，微调Qwen2.5-32B，效果非常不错。
与DeepSeek R1自家蒸馏的版本相比略逊一些，但是后者是800k sample，而且这17k数据以及合成脚本完全开源。
方法来自之前蒸馏QwQ的Sky-T1。
P.S. 7B的模型效果提升不佳，看来越小的模型需要越多的数据激活能力。
1/2
用17K从DeepSeek R1 蒸馏的SFT数据，微调Qwen2.5-32B，效果非常不错。
与DeepSeek R1自家蒸馏的版本相比略逊一些，但是后者是800k sample，而且这17k数据以及合成脚本完全开源。
方法来自之前蒸馏QwQ的Sky-T1。
P.S. 7B的模型效果提升不佳，看来越小的模型需要越多的数据激活能力。
1/2