恭喜晓东,Edge0终于正式开源了 这次他们把8B、35B模型,连同运行时和推理代码都放了出来

恭喜晓东,Edge0终于正式开源了👏

这次他们把8B、35B模型,连同运行时和推理代码都放了出来。35B模型可以在手机和电脑上本地运行,峰值内存只有1–2.5GB,游戏、3D场景和网页也能完全在设备端生成。

做端侧AI的朋友可以去试试,也欢迎给他们提提意见。

Samuel Zeng @SamuelZengML A 35B language model running on an iPhone using only 1–2.5 GB of peak memory.

No cloud. No remote server. No desktop GPU.

Today, we’re open-sourcing Edge0 — a framework for running large AI models fully on-device.

原链接