Ministral 发布用于终端和边缘场景的模型...
- i陆三金
- 2024-10-17 08:50:15
Ministral 发布用于终端和边缘场景的模型 Les Ministraux：Ministral 3B 和 Ministral 8B，可用于设备端翻译、无网络智能助手、本地分析和自主机器人等场景。
这些模型在知识、常识、推理、函数调用以及效率方面为小于100亿参数的模型设立了新的前沿，并且可以用于或微调为多种用途，从编排智能体工作流到创建专业任务执行者。两种模型都支持最长128k的上下文长度（当前vLLM支持32k），而Ministral 8B具有一种特殊的交错滑动窗口注意力模式，用于更快且更节省内存的推理。
Ministraux 也可以与更大的语言模型（如Mistral Large）结合使用时，作为多步骤智能体工作流中进行函数调用的高效中介。它们可以被调优用于处理输入解析、任务路由，并基于用户意图在多个上下文中调用API，且具有极低延迟和成本。
预训练模型性能见图1、图2，Instruct 模型见图3、4、5，成本见图6。
博客链接：
网页链接
这些模型在知识、常识、推理、函数调用以及效率方面为小于100亿参数的模型设立了新的前沿，并且可以用于或微调为多种用途，从编排智能体工作流到创建专业任务执行者。两种模型都支持最长128k的上下文长度（当前vLLM支持32k），而Ministral 8B具有一种特殊的交错滑动窗口注意力模式，用于更快且更节省内存的推理。
Ministraux 也可以与更大的语言模型（如Mistral Large）结合使用时，作为多步骤智能体工作流中进行函数调用的高效中介。它们可以被调优用于处理输入解析、任务路由，并基于用户意图在多个上下文中调用API，且具有极低延迟和成本。
预训练模型性能见图1、图2，Instruct 模型见图3、4、5，成本见图6。
博客链接：
网页链接
