最强AI芯片英伟达H200深夜发布，Llama2-70B推理提速90%，2024年二季度发货

芯片巨头英伟达，又打出一张王牌。

英伟达在 2023 年全球超算大会（SC2023）上发布了目前世界上最强的 AI 芯片 H200。

这款新的 GPU 基于 H100 进行了升级，内存带宽提高了 1.4 倍，内存容量提高了 1.8 倍，提高了处理生成式 AI 任务的能力。该公司高性能计算和超大规模数据中心业务副总裁 Ian Buck 表示：「英伟达在硬件和软件上的创新正在缔造新型 AI 超算。」

NVIDIA H200 基于 NVIDIA Hopper 架构，与 H100 相互兼容，这意味着已经使用先前模型进行训练的人工智能公司将无需更改其服务器系统或软件即可使用新版本。

H200 是首款以 4.8 TB/s 速度提供 141 GB HBM3e 内存的 GPU，这几乎是 NVIDIA H100 Tensor Core GPU 容量的两倍。H200 还配备了高达 141GB 超大显存，与 H100 的 80GB 相比，容量几乎翻倍，并且带宽还增加了 2.4 倍。

H200 更大更快的内存可加速生成式 AI 和 LLM 的运行，同时以更高的能源效率和更低的成本推进 HPC 工作负载的科学计算。

例如，在处理 Llama2 等 LLM 时，H200 的推理速度比 H100 GPU 提高了近 2 倍。

运行 GPT-3 等模型时，NVIDIA H200 Tensor Core GPU 的推理性能提高了 18 倍。不仅如此，在其他生成式 AI 基准测试中，还能在 Llama2-13B 上每秒可处理 12000 个 tokens。

内存带宽对于 HPC 应用程序至关重要，因为它可以实现更快的数据传输，减少复杂的处理步骤。对于那些内存密集型 HPC 应用如模拟仿真、人工智能研究等，H200 更高的内存带宽可确保高效地访问和操作数据，与 CPU 相比，给出结果的时间最多可加快 110 倍。

随着 H200 的推出，能源效率和 TCO 达到了新的水平 网页链接