大模型竞技场
- karminski-牙医
- 2025-01-13 13:00:48
本地大模型竞技场继续。这次为大家带来微软的 Phi-4 测试，采用的还是我最近特别喜欢的 unslouth 的量化版本，由于Phi-4比较小只有14.7B，因此把2-8量化全测试了。方便大家参考。测试使用Mac M2 Ultra 128GB，框架为llama.cpp
测试内容为"请使用C语言来绘制一个mandelbrot set". 这个题目写代码主要是看会不会未定义变量满天飞 (C的话绝对不会给面子直接编译不过)，是否能编译一次通过（这点代码都写不对基本也不要想着写复杂的东西了），对模糊命题的理解能力（是绘制ASCII的还是图片？）。让我们直接来看结果：
Q2_K_L 量化，写不对，用了个未定义变量I。（图一）
Q4_K_M 量化，没问题，写了个ASCII版本的（图二）
Q5_K_M 量化，没问题，而且使用了SDL2来绘制（linux下一个比较通用的图形库）（图三）
Q8 量化，没问题，跟Q5感觉没区别（图四）
结论是，虽然没看到什么亮点，不过Q5量化应该能写一些代码，考虑到Q4是8.3G, Q5量化是9.7GB左右，一些消费级显卡都可以运行，可以玩一下试试
ai创造营大模型竞技场
测试内容为"请使用C语言来绘制一个mandelbrot set". 这个题目写代码主要是看会不会未定义变量满天飞 (C的话绝对不会给面子直接编译不过)，是否能编译一次通过（这点代码都写不对基本也不要想着写复杂的东西了），对模糊命题的理解能力（是绘制ASCII的还是图片？）。让我们直接来看结果：
Q2_K_L 量化，写不对，用了个未定义变量I。（图一）
Q4_K_M 量化，没问题，写了个ASCII版本的（图二）
Q5_K_M 量化，没问题，而且使用了SDL2来绘制（linux下一个比较通用的图形库）（图三）
Q8 量化，没问题，跟Q5感觉没区别（图四）
结论是，虽然没看到什么亮点，不过Q5量化应该能写一些代码，考虑到Q4是8.3G, Q5量化是9.7GB左右，一些消费级显卡都可以运行，可以玩一下试试
ai创造营大模型竞技场
