辉达 (NVIDIA) 发表了其 Blackwell 架构 AI 晶片 B200 首个在 Llama 2 70B 大模型上的 MLPerf Inference 4.1 测试结果，显示 B200 的性能相较上一代的 Hopper H100 有 4 倍的提升，即性能提升了 300%。在此同时，AMD 也公布了 8 个 MI300X GPU 在相同测试中的成绩，达到了整合 8 个 H100 与辉达 DGX H100 相当的成绩，这也显示了 AI 晶片市场的竞争激烈。
具体来说，单个辉达 Blackwell B200 GPU 在 AI 推理测试中，可以每秒生成 10,755 个 Token。另外，在离线参考测试中，则可以每秒生成 11,264 个 Token。作为比较，虽然采用 4 个 Hopper H100 GPU 的伺服器提供了接近的结果，但是单个 H00 GPU 每秒生成的 Token 数则仅有 B200 GPU 的约 1/4。这也证明了辉达的说法，即单个 Blackwell B200 GPU 的速度，达到了单个 Hopper H100 GPU 的约 3.7 至 4 倍。
而针对这样的测试数字、市场进行了相关分析。首先，辉达的 Blackwell B200 处理器使用的是 FP4 精度，因为其第五代 Tensor Core 支持该格式，而采用 Hopper 的 H100 则仅支持和使用 FP8。虽然 MLPerf 指南允许这些不同的格式，但 Blackwell B200 中的 FP4 性能使其相比 FP8 传输量增加了一倍，因此这是需要注意的重要事项。
接下来，辉达在使用单个 B200 与四个 H100 GPU 对比方面似乎有些差异。因为，扩展从来都不是完美的，因此单个 GPU 往往是 GPU 性能的最佳情况。而 MLPerf 4.1 并没有列出单个 GPU H100 结果，只有一个 B200 结果，这使得它们之间的比较并不公平。然而，单个 H200 的性能达到了每秒 4,488 个 Token，这代表着 B200 在该特定测试中，速度达到了 H100 的 2.5 倍，即快了150%。
再者，双方之间 HBM 容量和频宽差异也是影响因素，并且存在很大的跨代差异。测试的 B200 GPU 配备 180GB HBM3E 记忆体，而 H100 SXM 配备 80GB HBM，H200 则是配备 96GB HBM3 和高达 144GB 的 HBM3E。其中，具有 96GB HBM3 的单个 H200 在离线模式下仅达到了 3,114 个 Token。因此，数位格式、GPU 数量、记忆体容量和配置都存在差异，这些差异就会影响其测试出来的结果。而且，许多差异仅仅是因为 Blackwell B200 是一款具有更新架构的新晶片，所以进一步都影响了其最终测试性能表现。
回到配备 141GB HBM3E 记忆体的辉达 H200 上，它不仅在以 Llama 2 70B 大型语言模型为特色的生成式 AI 基准测试中也表现出色，而且在数据中心类别的每一项测试中都表现出色。再来看，AMD公布同样的 MLPerf Inference 4.1 测试，其 MI300X 的成绩。使用搭配 AMD Genoa CPU 及 8 个 MI300X 的伺服器，在测试中性能达到了每秒 21,028 个 Token，而在离线参考测试中，性能达到了每秒 223,514 个 Token。至於，使用 AMD Turin CPU 及 8 个 MI300X 的伺服器，测试中性能达到了每秒 22,021 个 Token，在离线参考测试中，性能达到了 24,110 个 Token。
这样的结果，代表使用 8 个 MI300X 的系统达到了接近辉达 DGX H100 系统的成绩，差异大概在 2-3% 以内，也代表在测试中，单个 MI300X GPU 的性能达到了与辉达 H100 GPU 相当的水准。而综合比较单个 AMD MI300X 与辉达 H200 和 B200 的 MLPerf Inference 4.1 测试成绩来看，辉达 B200 的成绩也是遥遥领先於 MI300X 和 H200，其性能平均达到了 MI300X 的 4 倍左右，也达到了 H200 的约 2.5 倍左右。这也进一步凸显了辉达 B200 性能的领先性。
同样需要指出的是，AMD MI300X 配备了更大的 192GB HBM，而 B200 则是 180GB HBM。不过，MI300X 的 TDP 功耗为 750W，但辉达 H200 和 B200 的 TDP 功耗则高达 1,000W。
(首图来源：科技新报摄)
