SVDQuant:高效 4-Bit...

  • AI小小报
  • 2024-12-12 13:22:37
SVDQuant:高效 4-Bit 量化技术,加速 AI 图像生成

SVDQuant 是一种开源的 4-Bit 扩散模型量化技术,能够在几乎不损失性能的情况下,显著减少显存用量并提升生成速度。

在 16GB 的 4090 GPU 上(笔记本电脑),它比 Flux NF4 W4A16 快 3 倍。最值得一提的是,这种量化技术兼容原版的 LoRA,无需重新训练。现在,SVDQuant 还推出了 ComfyUI 节点,唯一的缺点是一次只能加载一个 LoRA,有需要的可以看看哈。三花AIAI图像AI资讯
SVDQuant:高效 4-Bit...