[LG] A Hitchhiker's Guide...

[LG] A Hitchhiker's Guide to Scaling Law Estimation
网页链接
本文通过大规模实证研究，揭示了大型语言模型训练中规模律估计的最佳实践，特别是强调了利用中间训练检查点、模型规模与数量的权衡以及规模律参数潜在简化的反直觉发现，为高效的模型预训练决策提供了重要指导。