哇哦。 @Microsoft刚刚开源了...
- 斌叔OKmath
- 2024-10-22 17:11:52
哇哦。
@Microsoft
刚刚开源了 2024 年“最有影响力”的论文之一的代码
1 位 LLM（例如 BitNet b1.58）。
现在您可以在本地设备上运行使用 BitNet b1.58 量化的 100B 参数模型，速度为 5-7 个令牌/秒
我们一直在等待的梦想。
性能改进：
- 在 ARM CPU 上实现了 1.37 倍至 5.07 倍的加速
- 更大的模型可以获得更大的性能提升
- 在 ARM 上降低能耗 55.4% 至 70.0%
- 在 x86 CPU 上，加速范围从 2.37 倍到 6.17 倍
@Microsoft
刚刚开源了 2024 年“最有影响力”的论文之一的代码
1 位 LLM（例如 BitNet b1.58）。
现在您可以在本地设备上运行使用 BitNet b1.58 量化的 100B 参数模型，速度为 5-7 个令牌/秒
我们一直在等待的梦想。
性能改进：
- 在 ARM CPU 上实现了 1.37 倍至 5.07 倍的加速
- 更大的模型可以获得更大的性能提升
- 在 ARM 上降低能耗 55.4% 至 70.0%
- 在 x86 CPU 上，加速范围从 2.37 倍到 6.17 倍
