SVDQuant:高效 4-Bit 量化技术,加速 AI 图像生成
SVDQuant 是一种开源的 4-Bit 扩散模型量化技术,能够在几乎不损失性能的情况下,显著减少显存用量并提升生成速度。
在 16GB 的 4090 GPU 上(笔记本电脑),它比 Flux NF4 W4A16 快 3 倍。最值得一提的是,这种量化技术兼容原版的 LoRA,无需重新训练。现在,SVDQuant 还推出了 ComfyUI 节点,唯一的缺点是一次只能加载一个 LoRA,有需要的可以看看哈。
三花AIAI图像
AI资讯