独家对话黄仁勋：关于生成式AI 算力能耗的一些追问

来源：与非网eefocus

作者：张慧娟

随着ChatGPT的爆火，黄仁勋最近频频强调：“我们正处于AI的iPhone时刻”。GTC上，他对媒体详解了这一观点的由来，在他看来——一个新的计算平台已经开发出来了。

过去大约每一波的科技潮流中，不论是PC革命、互联网革命、云计算、移动云等等，每一波潮流都创建出了一个新的计算平台，新的应用程序由此产生，业界用一种新的方式对计算机进行编程。而这一次，ChatGPT划时代地“使人类语言成为新的编程方式”。

“我们只需要告诉ChatGPT想要什么，它就可以理解我们的意图，给出令人惊叹的结果”，黄仁勋说道，“这意味着，人们可以用任何语言‘编程’，不论是英语、中文、法语、日语……人工智能的发展正因此而变得更加通用——这是一个临界点的时刻，也是非常重要的过渡。”

ChatGPT背后的AI超级计算机

毫无疑问，NVIDIA技术是这一波生成式 AI发展的基础，黄仁勋讲述了NVIDIA如何在变革初期就已参与进来。早在，他就向OpenAI亲手交付了第一台NVIDIA DGX AI超级计算机，这也是支持ChatGPT大型语言模型突破背后的引擎。

黄仁勋表示：“如果把加速计算比作曲速引擎，那么AI就是动力来源。生成式AI的非凡能力，使得企业产生了紧迫感，他们需要重新构思产品和商业模式。”

值得一提的是，最初作为 AI 研究仪器使用的NVIDIA DGX超级计算机现已在世界各地的企业中全天候运行，用于完善数据和处理 AI。《财富》100 强企业中有一半都安装了DGX AI超级计算机。

而随着ChatGPT大型语言模型连接到办公自动化、办公应用程序和生产力应用程序等，AI将无所不在，而DGX 超级计算机将有望成为“现代AI工厂”。

无止境的算力需求下

如何实现“可持续”计算

伴随生成式AI的爆发式应用，一个可预见的趋势是：AI模型、数据量将越来越大，导致所需的算力规模也越来越大。与传统计算相比，GPU的耗电量也是业界的“吐槽点”。那么，在这样的趋势下，NVIDIA如何应对能耗问题，从而符合绿色节能的可持续发展方向？

黄仁勋告诉<与非网>，可持续非常重要，也是NVIDIA的关注重点。他指出，AI加速计算在当今世界的计算中只占很小一部分。事实上，在过去40年的发展中，世界上绝大多数计算都是由摩尔定律驱动的。但是，在过去5年左右，摩尔定律开始急剧放缓，这是因为我们在逼近物理学的极限，我们可以缩小晶体管，但不能缩小原子。一个随之而来的挑战就是：如果摩尔定律结束，世界会发生什么？

“现在，我们需要的计算量更大了。但是，性能每提高10倍，或吞吐量提高10倍，功耗就增加10倍、成本增加10倍，这是不可持续的”，黄仁勋表示，“因此，我们首要做的一件事就是加快每一个可能的工作量。”

加速计算之所以有效，就因为它是全栈的。它发明了新的软件、新的算法、新的芯片、新的系统，对于每个应用程序域，通过执行这样全栈的操作，可以将计算性能显著提升。例如在计算光刻领域，作为EDA工作中计算最密集的应用程序，加速计算可以将其性能提高50倍、功耗和成本降低近10倍。

“这就是加速计算要做的事情，一项接一项工作负载、一个接一个应用程序域”，黄仁勋表示。比如在数据中心，通过加速工作负载，就可以减少电力使用，从而可以将其转移到新的增长中。“如果通过加速回收10倍的动力，想象一下我们有多少增长机会？”，他强调。

至于实现可持续发展的具体手段是什么？黄仁勋强调，“第一，我们必须加快应用程序的速度；第二就是AI。”他解释说，我们今天用于仿真模拟的方法是所谓的第一原理，它基本适用于物理定律。（注：在物理中，第一原理(First Principle)是指不需要任何经验设定与拟合参数，只从最基本的物理定律出发，就可以推出系统的基本性质。）

就像小狗能够跳起来接住抛到空中的球一样，它能够仅凭经验就预测到球的飞行位置，训练AI也是如此，“我们通过教AI物理定律，可以让AI有能力将计算量减少1万或10万倍。一旦AI可以利用知识、利用技能来预测物理，就可以有效节省计算量，从而节约能源”，黄仁勋指出。

加速计算光刻的“iPhone时刻”

图源 | Nvidia

正如上文中黄仁勋提到的计算光刻应用，随着当前生产工艺接近物理学极限，NVIDIA将加速计算引入到计算光刻领域，通过cuLitho助力ASML、TSMC和Synopsys等半导体头部企业加速新一代芯片的设计和制造。

据了解，TSMC、Synopsys 正在将NVIDIA cuLitho 计算光刻技术软件库整合到最新一代 NVIDIA Hopper架构GPU的软件、制造工艺和系统中。ASML也正在就GPU和cuLitho与NVIDIA 展开合作，并计划在其所有计算光刻软件产品中加入对 GPU 的支持。

在计算光刻领域引入加速计算的意义究竟是什么？

毋庸置疑，芯片产业几乎是每一个行业的基础。而在半导体制造过程中，光刻技术决定着芯片晶体管的尺寸，NVIDIA cuLitho 计算光刻技术软件库可为2纳米及更高工艺奠定基础。

类似于在摄影中将底片上的图像曝光到相纸上一样，光刻工艺利用光在硅晶圆上生成表示芯片设计的图案。计算光刻的作用就是补偿因衍射或光学、抗蚀剂和蚀刻邻近效应而导致的任何图像误差。借助OPC软件，开发者可以利用算法和数学方法以及大量仿真工作来操控光线，从而实现计算光刻过程。

这个过程涉及到利用各种各样的“假设”场景来找到正确的配置，以尽可能地提高转印图案的准确性。例如，在光线周围投射一些精心挑选的合适伪影，比如可以操控光线的衬线，可以在晶圆上生成更接近原始掩模的图案。

计算光刻作为一项资源密集型工作，通常需要大量数据中心来处理相关计算和仿真运行。这一过程可能需要很长的时间，即使是使用最强大的计算机也是如此。与此同时，开发者希望在芯片上封装更多的晶体管，这进一步增加了光刻的挑战，此外，计算工作负荷也是只增不减。计算光刻的仿真环节成为该过程最耗时的部分之一，因为光刻过程中每个步骤的详细模型都需要进行仿真。全芯片应用中可能有数百万个Tile，因此必须具有超快的掩模合成计算速度。

为了实现所需的性能提升，将cuLitho集成到Synopsys全芯片掩模合成解决方案和Proteus ILT逆光刻技术中并进行优化，可在新一代NVIDIA Hopper架构GPU上运行。如此一来，传统配置上需要40000个CPU的系统，仅需要500个NVIDIA DGX H100节能型GPU系统。计算光刻工艺的所有部分都可以并行运行，减少所需功耗并且运行时间从数周缩短到数天。

生成式AI需要充分的供应链准备

在生成式AI需求爆发式增长的背景下，黄仁勋认为，行业需要进行充分的供应链准备，以满足全球对AI的需求。

为了帮助企业部署处于快速发展的生成式 AI 模型，黄仁勋发布了用于 AI 视频、图像生成、大型语言模型部署和推荐器推理的推理平台。这些平台将NVIDIA的全套推理软件与最新的 NVIDIA Ada、Hopper和Grace Hopper处理器相结合，包括用于AI视频的NVIDIA L4 Tensor Core GPU和用于大型语言模型部署的NVIDIA H100 NVL GPU。

同时，NVIDIA AI Foundations云服务系列，也可以为需要构建、完善和运行自定义大型语言模型及生成式 AI 的客户提供服务，加速企业使用生成式 AI 的工作。

据黄仁勋透露，会将由八块旗舰版A100或H100芯片集成的DGX超级AI计算系统通过租赁的方式开放给企业，每月租金37000美元，以加速这轮大语言模型引领的AI浪潮。

据了解，通过与云服务供应商合作，NVIDIA在欧美提供DGX系统AI超级计算机的能力；在中国，也有特别定制的Ampere和Hopper芯片（A800和H800），通过中国的云服务供应商，比如阿里巴巴、腾讯、百度等企业提供落地能力。“我完全相信他们有能力去提供顶级的系统服务，对于中国初创企业来说，也一定有机会来开发自己的大语言模型”，黄仁勋表示。

写在最后

GTC期间，黄仁勋和OpenAI联合创始人、首席科学家Ilya Sutskever 进行了一场炉边对话。Ilya Sutskeve感慨自己从业20余年，看着AI从“小透明”到震惊人类：“它还是那个神经网络，只是变得更大，在更大的数据集上以不同的方式训练，但是训练的基础算法都是一样的，这是最令我惊讶的！”

黄仁勋也感慨，“在我们相识的十多年时间里，关于训练的模型和数据（从AlexNet训练到现在），已经扩大到100万倍。在计算机科学界，当时没有人会相信这十年间，计算量会扩大到100万倍。”

但这就是一个正在发生的事实——由于生成式AI，训练的规模增大了很多。而业界对于生成式AI的大量推理运用，正导致AI处于拐点。

未来智能实验室的主要工作包括：建立AI智能系统智商评测体系，开展世界人工智能智商评测；开展互联网（城市）大脑研究计划，构建互联网（城市）大脑技术和企业图谱，为提升企业，行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。

如果您对实验室的研究感兴趣，欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”