INTELLECT1

全球首个去中心化训练的10B大模型，Prime Intellect通过去中心化的方式训练了一个10B模型：INTELLECT-1
并开源了基础模型、检查点、后训练模型、数据、PRIME 训练框架、技术报告等所有资源

本次训练涉及3大洲5个国家，同时运行了112台H100 GPU，由全球30位贡献者共同完成

在全球分布式训练中，实现了高计算利用率，在美国境内能达到96%的效率，跨洋训练也有83%的效率，42天训练完成

它借鉴了Llama-3的架构设计，用了1万亿个token数据进行了训练

github：LLMINTELLECT1分布式训练LLM分布式LLM