Bi-Mamba：精确1-bit状态空间模型研究

OneFlow
2024-11-28 01:53:15

大模型日报 ai前沿动态

【Bi-Mamba：精确1-bit状态空间模型研究】

链接：网页链接
论文概述：Bi-Mamba通过创新的量化感知训练方法，将Mamba大型语言模型成功二值化为1-bit，在显著降低存储和计算成本的同时，保持了与全精度模型相当甚至更好的性能，为高效LLM的设计提供了新的方向。