微软 azure ai 基础设施在11月21日迎来了升级，推出了全新的nd h100 v5虚拟机系列。这款虚拟机配备了英伟达h100 tensor core图形处理单元（gpu）和低延迟网络
据介绍，微软全新发布 azure nd h100 v5 虚拟机（vm）系列，现已在美国东部和美国中南部 azure 区域提供。
该系列产品采用了最新的英伟达 h100 tensor core gpu 和英伟达 quantum-2 infiniband 网络，以应对日益复杂的人工智能工作负载。作为微软对人工智能领域持续深入投资的一部分，微软正在利用一个经过优化的人工智能 4k gpu 集群，并计划在明年将其扩展到数十万个全新的 gpu
我们在这个网站上整理了 nd h100 v5 vm 虚拟机系列的特性：
ai 超级计算 gpu：配备了八个英伟达 h100 tensor core gpu。比起上一代虚拟机，该系列可让 ai 模型显著提速。新一代计算机处理单元（cpu）：cpu 性能对于 ai 的训练和推理至关重要，微软选择了第四代英特尔 xeon scalable 处理器。低延迟网络：采用英伟达 quantum-2 connectx-7 infiniband，每个 gpu 拥有 400gb / s、每个 vm 拥有 3.2 tb / s 的跨节点带宽。优化主机到 gpu 的性能：通过 pcie gen5 提供每个 gpu 64gb/s 的带宽。大规模的内存和内存带宽：ddr5 内存是该系列虚拟机的核心，提供更高的数据传输速度和效率。微软表示，该系列虚拟机使用新的 8 位 fp8 浮点数据类型进行矩阵乘法操作时，速度提升了六倍，比前一代的 fp16 更快。nd h100 v5 vm 帮助大型语言模型（如 bloom 175b 端到端模型）实现了最高两倍的推理速度提升。
以上就是微软发布 azure nd h100 v5 虚拟机，配备 8 个英伟达 h100 gpu的详细内容。