大幅降低GPT4o延迟
- 量子位
- 2024-11-11 19:18:03
大幅降低GPT4o延迟GPT4o开发者新功能
开发者们注意了,OpenAI官方刚刚发布了一个新功能:预测输出(Predicted Outputs),可以提高2-4倍的开发速度!
比如在下面的演示视频中,使用了预测输出的模型7秒钟就完成了代码,而没有使用的GPT-4o原始模型用时长达23秒。
那么,什么是预测输出呢?
以编程任务为例,有时候我们希望模型修改一小部分代码,比如将username属性编程email,其他部分的代码和之前的结果是一样的。
使用了预测输出之后,模型就会在之前代码的基础上进行修改,而不是从0开始重新生成完整的代码,这样编程速度就大大加快了。(图2)
与OpenAI合作开发了这个功能的FactoryAI还提供了更多测试数据:
- 编程速度加快2-4倍,同时保持高精度
- 以前需要70秒编辑的大型文件,现在只需20秒(图3)
- 相应时间始终保持在30s内
- 与其他SOTA模型的性能相当
- 功能已在100-3000+行的代码上进行了测试
- 支持多种编程语言:Python、JavaScript、Go、C++等
开发者们注意了,OpenAI官方刚刚发布了一个新功能:预测输出(Predicted Outputs),可以提高2-4倍的开发速度!
比如在下面的演示视频中,使用了预测输出的模型7秒钟就完成了代码,而没有使用的GPT-4o原始模型用时长达23秒。
那么,什么是预测输出呢?
以编程任务为例,有时候我们希望模型修改一小部分代码,比如将username属性编程email,其他部分的代码和之前的结果是一样的。
使用了预测输出之后,模型就会在之前代码的基础上进行修改,而不是从0开始重新生成完整的代码,这样编程速度就大大加快了。(图2)
与OpenAI合作开发了这个功能的FactoryAI还提供了更多测试数据:
- 编程速度加快2-4倍,同时保持高精度
- 以前需要70秒编辑的大型文件,现在只需20秒(图3)
- 相应时间始终保持在30s内
- 与其他SOTA模型的性能相当
- 功能已在100-3000+行的代码上进行了测试
- 支持多种编程语言:Python、JavaScript、Go、C++等