OpenAI前首席专家：大模型的预训练将...
- 哈勃观察员
- 2024-12-18 03:07:56
OpenAI前首席专家：大模型的预训练将“走入死胡同”！
在人工智能（AI）大语言模型开发的初始阶段，其需要从大量未标注的数据中学习相应的模式，这个过程被称为“预训练”。
然而，OpenAI联合创始人、OpenAI前首席科学家伊利亚·苏茨克维（Ilya Sutskever）近日在神经信息处理系统会议（NeurIPS）上表示，预训练无疑将走向终结。
苏茨克维表示，尽管现有数据仍能推动AI进一步发展，但业界在训练新数据方面已接近极限。苏茨克维认为，尽管我们的计算能力增长，但互联网上的数据并没有增长。
他认为，人类生成内容是有限的，正如石油是有限的资源一样，而“我们已经达到了数据峰值，不会再有更多了”。
苏茨克维指出，这种态势最终将迫使模型训练方式发生转变。他预测，下一代模型将在真正意义上具备“代理性”（agentic），即一种能执行任务、做出决策并与软件进行互动的自主的AI系统；同时，未来的AI还能进行推理，能从有限的数据中理解事物，而系统越进行推理，就越发不可预测。
苏茨克维认为，正如演化为人类大脑找到了一种新的扩展模式一样，或许AI也将出现新的扩展模式，远超目前的预训练方式。
热门微博 科技快讯 人工智能 AI大模型
在人工智能（AI）大语言模型开发的初始阶段，其需要从大量未标注的数据中学习相应的模式，这个过程被称为“预训练”。
然而，OpenAI联合创始人、OpenAI前首席科学家伊利亚·苏茨克维（Ilya Sutskever）近日在神经信息处理系统会议（NeurIPS）上表示，预训练无疑将走向终结。
苏茨克维表示，尽管现有数据仍能推动AI进一步发展，但业界在训练新数据方面已接近极限。苏茨克维认为，尽管我们的计算能力增长，但互联网上的数据并没有增长。
他认为，人类生成内容是有限的，正如石油是有限的资源一样，而“我们已经达到了数据峰值，不会再有更多了”。
苏茨克维指出，这种态势最终将迫使模型训练方式发生转变。他预测，下一代模型将在真正意义上具备“代理性”（agentic），即一种能执行任务、做出决策并与软件进行互动的自主的AI系统；同时，未来的AI还能进行推理，能从有限的数据中理解事物，而系统越进行推理，就越发不可预测。
苏茨克维认为，正如演化为人类大脑找到了一种新的扩展模式一样，或许AI也将出现新的扩展模式，远超目前的预训练方式。
热门微博 科技快讯 人工智能 AI大模型
