XGrammar：灵活高效的大型语言模型结构化生成引擎

OneFlow
2024-12-04 11:25:15

大模型日报 ai前沿动态

【XGrammar：灵活高效的大型语言模型结构化生成引擎】

链接：网页链接
论文概述：XGrammar 通过巧妙地将 LLM 词汇表标记分类、利用自适应缓存和持久化堆栈等技术，并与 LLM 推理引擎协同设计，显著提升了大型语言模型结构化生成的效率，实现了近乎零开销的结构化输出。