NVIDIA的H100 AI芯片使其成为价值数亿美元的公司，其价值可能超过Alphabet和亚马逊。尽管竞争对手一直在奋力追赶，但也许NVIDIA即将扩大其领先优势--凭借新的Blackwell B200 GPU和GB200"超级芯片"。
z0p*Z& 
B:;pvW] NVIDIA首席执行官黄仁勋在GTC现场直播中举起他的新GPU（左边），右边是H100。
uGf@ 3s,g* NVIDIA表示，新的B200 GPU拥有2080亿个晶体管，可提供高达20petaflops的FP4算力，而GB200将两个GPU和一个Grace CPU结合在一起，可为LLM推理工作负载提供30倍的性能，同时还可能大大提高效率。NVIDIA表示，与H100相比，它的成本和能耗"最多可降低25倍"。
?cBwPet p q PX ~@^`9 NVIDIA声称，训练一个1.8万亿个参数的模型以前需要8000个Hopper GPU和15兆瓦的电力。如今，NVIDIA首席执行官表示，2000个Blackwell GPU就能完成这项工作，耗电量仅为4兆瓦。
H1pO!>M J{p1|+h% NVIDIA表示，在具有1750亿个参数的GPT-3 LLM基准测试中，GB200的性能是H100的7倍，而NVIDIA称其训练速度是H100的4倍。
g 2 LM_1\ 
"/*\1v9 这就是GB200的样子。两个GPU、一个CPU、一块电路板
%Q__!D[ ?*G|XnM& NVIDIA介绍说，其中一项关键改进是采用了第二代变压器引擎，通过为每个神经元使用四个比特而不是八个比特，将计算能力、带宽和模型大小提高了一倍（前面提到的FP4的20 petaflops）。第二个关键区别只有在连接大量GPU时才会出现：新一代NVLink交换机可让576个GPU相互连接，双向带宽达到每秒1.8 TB。
uB]7G0g: UN;H+gNnN 这就要求NVIDIA打造一个全新的网络交换芯片，其中包含500亿个晶体管和一些自己的板载计算：NVIDIA表示，该芯片拥有3.6 teraflops的FP8处理能力。
{3>$[bT 
:j9 l"5" NVIDIA表示将通过Blackwell增加FP4和FP6
VuhGx :Xl Gv!2f NVIDIA表示，在此之前，由16个GPU组成的集群有60%的时间用于相互通信，只有40%的时间用于实际计算。
=t#llgi~ b(eNmu 当然，NVIDIA还指望企业大量购买这些GPU，并将它们包装成更大的设计，比如GB200 NVL72，它将36个CPU和72个GPU集成到一个液冷机架中，可实现总计720 petaflops的AI训练性能或1440 petaflops（又称1.4exaflops）的推理性能。它内部有近两英里长的电缆，共有5000条独立电缆。
&=@IzmA 
$B 2J
T9 GB200 NVL72
="1Ind@w!
0r QMLx 机架上的每个托盘包含两个GB200芯片或两个NVLink交换机，每个机架有18个前者和9个后者。NVIDIA称，其中一个机架总共可支持27万亿个参数模型。据传，GPT-4的参数模型约为1.7万亿。
>a!/QMh >Eyt17_H"n 该公司表示，亚马逊、Google、微软和甲骨文都已计划在其云服务产品中提供NVL72机架，但不清楚它们将购买多少。
|sJ[0 z VZp5)-!\ 当然，NVIDIA也乐于为公司提供其他解决方案。下面是用于DGX GB200的DGX Superpod，它将八个系统合而为一，总共拥有288个CPU、576个GPU、240TB内存和11.5 exaflops的FP4计算能力。
''A_[J `> 
[`#CXq' NVIDIA称，其系统可扩展至数万GB200超级芯片，并通过其新型Quantum-X800 InfiniBand（最多144个连接）或Spectrum-X800以太网（最多64个连接）与800Gbps网络连接在一起。
1
微博帐号登录