下面这个英伟达与马斯克的计划真的很NB...
- 两仪生麻瓜
- 2024-11-14 05:59:20
下面这个英伟达与马斯克的计划真的很NB,真正代表人工智能的未来,马斯克的xAI 建立十万卡的超级集群,没有这种先进的集群,大模型公司就要落后
特朗普时期开始的限制,延续至今,想想,落后几年是难免的
Nvidia 黄仁勋的未来十年战略是什么?每年将计算的整体性能提升两到三倍,并实现数据中心即产品,黄老板在最近一期 No Priors 的采访中透露很多内幕和对未来的设想:
- 世界已经改变,我们进行计算的方式、整个技术栈都发生了变化。如果你能在一块GPU上并行化你的软件,你就能在整个集群、多个集群或数据中心上并行化,并在这个水平上开发软件;
- 接下来的十年里,Nvidia 希望每年在整体规模上(而非单个芯片上)将性能提升两到三倍,从而使成本和能耗每年降低两到三倍。当你每年都翻倍或三倍增长,几年下来,这种复合增长会非常惊人。我们将进入某种“超级摩尔定律”的曲线;
- Nvidia 将通过全栈优化,来实现数据中心级别的创新,NVLink 将是实现低延迟和高吞吐量的关键;
- 计算已经不像过去那样,新的计算单位是数据中心。如果你对软件很认真,你就会构建自己的计算机,Nvidia 将以“数据中心即产品”的方式构建它们。关于它的规划、建立、优化、调整,一切都能正常工作;
- xAI 迅速建立十万卡的超级集群,归功于 Elon 的意志力,这也给 Nvidia 带来了启发和信心,没有任何物理定律可以阻止 AI 数据中心扩展到一百万芯片;
- 现在有五到六个团队在努力尝试实现超级集群的目标,OpenAI、Anthropic、xAI,当然还有 Google、Meta、Microsoft 等公司。黄老板已经点名,未来超级计算中心上的大模型公司,就他们几家了;
- Nvidia 的芯片如此之大,它们并不是作为一个芯片设计的,而是像一千个芯片那样设计的,我们必须分别优化每一个。你真的想要优化更多的模块,跨模块协同设计,优化更大的空间,没有 AI 这基本不可能完成,我们无法构建Hopper;
- 让们常说 SaaS 平台将被颠覆,但实际却正好相反,他们正坐在金矿上,如 Salesforce、SAP 等将因专业智能体而繁荣发展;
再退一步,问自己 Nvidia 在做什么?
一方面,我们重新发明了我们所知道的计算,因此有价值数万亿美元的基础设施需要现代化,这是其中一层。
更大的层面是,我们正在构建的这个工具不仅仅是为了我们正在现代化的数据中心,而是用于生产一些新的商品。这个新商品行业能有多大?很难说,但可能价值数万亿美元。
所以,如果你退一步看,我们不再制造计算机了,我们在制造工厂。
特朗普时期开始的限制,延续至今,想想,落后几年是难免的
Nvidia 黄仁勋的未来十年战略是什么?每年将计算的整体性能提升两到三倍,并实现数据中心即产品,黄老板在最近一期 No Priors 的采访中透露很多内幕和对未来的设想:
- 世界已经改变,我们进行计算的方式、整个技术栈都发生了变化。如果你能在一块GPU上并行化你的软件,你就能在整个集群、多个集群或数据中心上并行化,并在这个水平上开发软件;
- 接下来的十年里,Nvidia 希望每年在整体规模上(而非单个芯片上)将性能提升两到三倍,从而使成本和能耗每年降低两到三倍。当你每年都翻倍或三倍增长,几年下来,这种复合增长会非常惊人。我们将进入某种“超级摩尔定律”的曲线;
- Nvidia 将通过全栈优化,来实现数据中心级别的创新,NVLink 将是实现低延迟和高吞吐量的关键;
- 计算已经不像过去那样,新的计算单位是数据中心。如果你对软件很认真,你就会构建自己的计算机,Nvidia 将以“数据中心即产品”的方式构建它们。关于它的规划、建立、优化、调整,一切都能正常工作;
- xAI 迅速建立十万卡的超级集群,归功于 Elon 的意志力,这也给 Nvidia 带来了启发和信心,没有任何物理定律可以阻止 AI 数据中心扩展到一百万芯片;
- 现在有五到六个团队在努力尝试实现超级集群的目标,OpenAI、Anthropic、xAI,当然还有 Google、Meta、Microsoft 等公司。黄老板已经点名,未来超级计算中心上的大模型公司,就他们几家了;
- Nvidia 的芯片如此之大,它们并不是作为一个芯片设计的,而是像一千个芯片那样设计的,我们必须分别优化每一个。你真的想要优化更多的模块,跨模块协同设计,优化更大的空间,没有 AI 这基本不可能完成,我们无法构建Hopper;
- 让们常说 SaaS 平台将被颠覆,但实际却正好相反,他们正坐在金矿上,如 Salesforce、SAP 等将因专业智能体而繁荣发展;
再退一步,问自己 Nvidia 在做什么?
一方面,我们重新发明了我们所知道的计算,因此有价值数万亿美元的基础设施需要现代化,这是其中一层。
更大的层面是,我们正在构建的这个工具不仅仅是为了我们正在现代化的数据中心,而是用于生产一些新的商品。这个新商品行业能有多大?很难说,但可能价值数万亿美元。
所以,如果你退一步看,我们不再制造计算机了,我们在制造工厂。