用动态词元化方法改造(大型)语言模型

大模型日报 ai前沿动态

【用动态词元化方法改造(大型)语言模型】

链接：网页链接
论文概述：本文提出了一种基于超网络的动态词元化方法，显著提升了语言模型的效率和跨语言公平性，并通过两种不同策略分别解决了编码器和解码器模型中的动态词元化问题，尤其是在解码器中，利用百万级词表和近似最近邻搜索实现了高效的自回归生成。