我们的同学最近在 48GB...

我们的同学最近在 48GB 显存的英伟达 L40S 显卡上测试了一下阿里的 QWQ-32B AWQ 大模型，30 并发下吞吐量有 900 多 token 每秒。下图中有测试结果详情。qwen ai创造营