用 Mac 且跑本地大模型的朋友得留个心了,有个新东西可能你还不知道
用 Mac 且跑本地大模型的朋友得留个心了,有个新东西可能你还不知道。
Rapid-MLX,这款专门针对 Apple Silicon 做的本地 LLM 推理服务,一句话总结就是:比 Ollama 快,而且快得肉眼可见。
具体快多少?官方给的数据是 2 到 4 倍。它背后跑的是苹果自家的 MLX

用 Mac 且跑本地大模型的朋友得留个心了,有个新东西可能你还不知道。
Rapid-MLX,这款专门针对 Apple Silicon 做的本地 LLM 推理服务,一句话总结就是:比 Ollama 快,而且快得肉眼可见。
具体快多少?官方给的数据是 2 到 4 倍。它背后跑的是苹果自家的 MLX
