然而,NARD缩放、晶体管缩放和指令级并行性的限制降低了CPU性能。CPU性能提升速度放缓之际,计算需求持续呈指数级增长。计算需求与计算机能力之间呈指数级增长的差距,如果不加以解决,计算能源消耗和成本以及通货膨胀,最终将扼杀每个行业。
正如我们所说,我们看到了非常明显的计算通货膨胀的迹象。经过NVIDIA CUDA二十年的发展,NVIDIA的加速计算提供了一条前进的道路。这就是我来这里的原因。因为最终,当我们目睹几十年后的计算膨胀时,业界终于意识到了加速计算的令人难以置信的有效性。
通过将耗时的算法卸载到专门从事并行处理的GPU,我们通常可以实现10倍、100倍,有时甚至1,000倍的加速,从而节省资金、成本和能源。我们现在加速应用领域的发展,从计算机图形学、光线追踪,当然到基因测序、科学计算、天文学、量子电路模拟、SQL数据处理,甚至pandas、数据科学。
加速计算已达到临界点。这是我们对计算机行业的第一项伟大贡献,我们对社会的第一项伟大贡献,加速计算。它现在为我们提供了一条可持续计算的前进道路。
成功押注深度学习
随着计算需求的不断增长,成本将继续下降。加速计算所带来的时间、成本或能源节省的一百倍,一百倍肯定会在其他地方引发新的发展。我们只是不知道它是什么,直到深度学习进入我们的意识。
一个全新的计算世界出现了。Jeff Hinton、Alex Krzyzewski和Ilya Sutskever使用NVIDIA CUDA GPU训练AlexNet,并赢得2012年ImageNet挑战赛,震惊了计算机视觉界。这是一个重要时刻,深度学习的大爆炸,一个标志着人工智能革命开始的关键时刻。
AlexNet改造我们公司后的决定值得关注。AlexNet后我们的决定改变了我们的公司,也可能改变了其他一切。我们看到了深度学习的潜力,并且相信,只是通过原理思考相信,通过我们自己对深度学习的可扩展性的分析相信。我们相信该方法可以学习其他有价值的功能。也许深度学习是一种通用函数学习器,有多少问题很难或不可能使用基本的第一原理来表达。
因此,当我们看到这一点时,我们认为这是一项我们真正必须关注的技术,因为它的局限性可能仅受模型和数据规模的限制。然而,当时也遇到了挑战。现在是2012年,2012年刚过不久。我们如何才能在不构建这些大规模GPU集群的情况下探索深度学习的极限呢?
当时我们还是一家相当小的公司,构建这些庞大的GPU集群可能要花费数亿美元。但如果我们不这样做,就无法保证扩大规模后会有效。然而,没有人知道深度学习可以扩展到多远。如果我们不建造它,我们永远不会知道。这是其中之一,如果你建造它,他们会来吗?我们的逻辑是,如果我们不建造它,他们就不会来。
因此,我们根据我们的首要原则信念和分析做出了奉献。我们相信这会非常有效,当公司相信某件事时,我们就应该采取行动。因此,我们深入研究深度学习,并在接下来的十年里系统地重塑了一切。从GPU本身开始,我们重新发明了每个计算层。现代GPU的发明,与我们最初发明的过去的GPU非常不同。
我们继续发明了计算、互连、系统、网络和计算的几乎所有其他方面。当然,还有软件。我们投资了数十亿美元。我们向未知领域投资了数十亿美元。十年来,成千上万的工程师致力于深度学习,并推进和扩展深度学习,但他们并不真正知道我们可以将这项技术真正应用到什么程度。
我们投资了数十亿美元。我们设计并建造了超级计算机来探索深度学习和人工智能的极限。2016年,我们发布了DGX-1,我们的第一台人工智能超级计算机,我将第一台计算机交付给了旧金山的一家初创公司,一家无人知晓的初创公司,我的一群从事人工智能工作的朋友,一家公司称为OpenAI。
2022年,也就是AlexNet出现10年后,计算量增长了大约一百万倍,一百万倍。如果您能想象一下,如果您的笔记本电脑的功能增强一百万倍,会是什么样子?百万倍之后,OpenAI推出了ChatGPT,AI成为主流。
在这十年中,NVIDIA从一家图形公司(你们中的许多人可能首先知道我们是一家制造GPU的公司)转变为现在一家构建大型数据中心规模超级计算机的人工智能公司。我们彻底改变了我们的公司。我们还彻底改变了计算技术。当今计算的基本方式已经发生了根本性的改变。
计算堆栈现在使用GPU来处理在超级计算机上训练的大型语言模型,而不是使用处理程序员编写的指令的CPU。我们现在正在创建人类无法编写的软件。我们现在正在创建的软件可以完成人类无法想象的事情,即使是在10年前。计算机现在是意图驱动的而不是指令驱动的。告诉计算机你想要什么,它就会弄清楚如何做。
与人类一样,人工智能应用程序将理解任务、原因、计划并编排大型语言模型团队来执行任务。未来的应用程序的工作方式和执行方式将与我们的工作方式非常相似,组建专家团队,使用工具,推理和计划,并执行我们的任务。软件以及软件可以做什么已经完全改变了。甚至我们的行业,随着它的改变和转变,创造了另一个行业,一个世界上从未有过的行业。
一个产业正在我们眼前形成。AI的输入和输出都是代币。对于房间里的所有工程师,你们知道我的意思。这些是嵌入智能的浮点数。公司现在正在建设一种以前不存在的新型数据中心,专门生产智能代币。本质上是人工智能工厂。就像尼古拉·特斯拉在过去的工业革命中发明的交流发电机一样,我们现在有了AI代币发电机,它们将成为新工业革命的工厂。
有生产能源、电力的大型工业。我们现在有一个庞大的产业,生产一些看不见的东西,称为软件。在未来,在不久的将来,我们将拥有生产、制造智能代币、人工智能发生器的行业。一个新的计算模型已经出现,一个新的行业已经出现,这一切都是因为我们从第一原理出发,形成了对未来的信念,并付诸行动。
机器人技术是下一波浪潮
人工智能的下一波浪潮是机器人技术,其中人工智能除了语言模型之外,还有物理世界模型。我们与数百家公司合作,制造机器人、机器人车辆、拾放手臂、人形机器人,甚至整个巨型机器人仓库。但与我们的人工智能工厂战略和经验不同,我们的人工智能工厂战略和经验实际上是通过推理和深思熟虑的行动形成的,我们的机器人之旅是一系列挫折的结果。
如您所知,NVIDIA发明了GPU。这是在我们发明人工智能工厂之前。我们对计算机行业的第一个伟大贡献是通过可编程着色器重塑计算机图形。我们在2000年发明了GPU和可编程着色。我们希望将GPU集成到每台计算机中,因此我们开始将GPU与主板芯片结合起来,当时我们针对AMD CPU推出了一款非常棒的集成显卡芯片。
黄仁勋在加州理工学院2024年的毕业典礼上发表了演讲,向毕业生们传达了他对科学、工程以及职业生涯的深刻见解
2024-06-16 21:44:11黄仁勋加州理工毕业典礼演讲:人工智能是我们这个时代最重要的技术英伟达在最近公布的代理文件中透露,其首席执行官黄仁勋在2024财年的总薪酬达到了3420万美元,相较于前一年增长了60%
2024-05-15 15:30:18英伟达CEO黄仁勋年薪大涨60%英伟达首席执行官黄仁勋在最近一个财年的薪酬有了显著增长,涨幅达到了60%。这一数据来源于公司公布的最新代理文件
2024-05-15 09:39:46黄仁勋薪酬大涨原标题:为何至今没有退休打算?黄仁勋:没有别的事可做,别无他求当地时间5月2日,黄仁勋在被问及自己为何至今没有退休打算时表示,自己就是没有别的事情可以做。
2024-05-07 09:53:10黄仁勋:不退休是因为没其他事可做英伟达面临新挑战,6月6日曝出美国联邦监管机构已同意对微软、Open AI及英伟达启动反垄断调查,旨在审视这些企业在人工智能领域的控制力。
2024-06-07 14:46:30英伟达突然被查美国英伟达公司的创办人及CEO黄仁勋访问台湾,此行引发台湾地区的高度关注,他的言论成为媒体聚焦点
2024-06-07 18:12:09黄仁勋妄称台湾为“国家”