语言模型靠启发式方法集合求解算术问题

大模型日报 ai前沿动态

【语言模型靠启发式方法集合求解算术问题】

链接：网页链接
论文概述：大型语言模型并非通过算法或记忆来进行算术推理，而是通过组合许多简单的、记忆的启发式规则，形成一个“启发式方法的集合”来实现，这一机制在训练早期就已出现，并逐步完善。