阿里发布开源模型QwQ32B
- karminski-牙医
- 2025-03-07 17:46:21
Qwen-QwQ-32B 发布了哈!官方测试数据跟 DeepSeek-R1 不相上下。
那么究竟性能如何?我已经正在测试了!稍后放出 BF16,8bit量化,4bit量化的测试结果,敬请期待!
目前来看,如果4bit量化效果好,那么妥妥是单机部署最适合的模型了,只有18GB左右大小。Mac Mini 24G 就能运行。
mlx和unsloth的相关量化版本也放出来了,从BF16-3bit量化都有。感兴趣的同学可以试试。详细评测我一会也会放出。
地址:huggingface.co/mlx-community/QwQ-32B-bf16
unsloth量化版本地址:huggingface.co/unsloth/QwQ-32B-GGUF
mlx量化版本地址:huggingface.co/mlx-community/QwQ-32B-4bit
阿里发布开源模型QwQ32B 阿里QwQ32B能否撼动DeepSeek地位 ai创造营 AI生活指南
那么究竟性能如何?我已经正在测试了!稍后放出 BF16,8bit量化,4bit量化的测试结果,敬请期待!
目前来看,如果4bit量化效果好,那么妥妥是单机部署最适合的模型了,只有18GB左右大小。Mac Mini 24G 就能运行。
mlx和unsloth的相关量化版本也放出来了,从BF16-3bit量化都有。感兴趣的同学可以试试。详细评测我一会也会放出。
地址:huggingface.co/mlx-community/QwQ-32B-bf16
unsloth量化版本地址:huggingface.co/unsloth/QwQ-32B-GGUF
mlx量化版本地址:huggingface.co/mlx-community/QwQ-32B-4bit
阿里发布开源模型QwQ32B 阿里QwQ32B能否撼动DeepSeek地位 ai创造营 AI生活指南