【影响英伟达根本逻辑的大争论...

【影响英伟达根本逻辑的大争论：OpenAI改变策略意味着什么？谁在撒谎？大模型预训练“缩放定律”定律失效？模型推理成“解药”，英伟达一家独大格局要变天？

“缩放定律”指导下，AI大模型预训练目前遭遇瓶颈。据路透12日报道，硅谷主要AI实验室的新模型训练计划目前普遍进展不顺，新模型训练遭遇拖延和令人失望的结果。比起GPT-4o，Orion被曝几乎没有任何改进，谷歌的Gemini 2.0也存在类似问题。

为克服瓶颈，OpenAI正探索“测试时计算”（training runs）技术，让模型不再受限于预训练，而能够以多步骤方法思考问题（推理）来提升表现。报道称，相关技术的应用最终推动OpenAI发布o1模型。

这可能会改变人工智能硬件的竞争格局。

目前为止，AI硬件市场主要由对英伟达训练芯片的无限需求主导。但如果通过增加训练时间和测试（推理）时间，模型就能获得更好的结果，那新一代模型可能就不再需要那么大的参数，较小的模型将直接降低成本。市场需求或将从大规模预训练集群转向推理云，英伟达在推理芯片市场可能会面临更多竞争。