这个推占据我的时间线一整天了,不过看大多数人都是在感叹它怎么『zero accuracy loss』地去压缩的,没有见到

这个推占据我的时间线一整天了,不过看大多数人都是在感叹它怎么『zero accuracy loss』地去压缩的,没有见到有人讲它背后的 Johnson-Lindenstrauss 定理,睡觉前简单写一下,应该能解答一些人的问题:

  1. JL 定理牛逼在哪? 通常我们做降维(比如 PCA

Google Research @GoogleResearch Introducing TurboQuant: Our new compression algorithm that reduces LLM key-value cache memory by at least 6x and delivers up to 8x speedup, all with zero accuracy loss, redefining AI efficiency. Read the blog to learn how it achieves these results:

原链接