Unsloth介绍了他们开发的动态4位量化技术...

Unsloth介绍了他们开发的动态4位量化技术：网页链接
这项技术通过动态选择不量化某些参数来提高模型的准确性，同时仅增加不到10%的VRAM使用量。Unsloth技术特别适用于大型模型，能够显著减少模型大小，同时保持或接近原始16位精度。
同时还提供了他们量化过的模型下载，包括 QwQ-32B-Preview