donews11月14日消息,英伟达北京时间13日发布了下一代人工智能超级计算机芯片,这些芯片将在深度学习和大型语言模型(llm)方面发挥重要作用,比如 openai 的 gpt-4。
新一代芯片相较于上一代有了显著的进步,将被广泛应用于数据中心和超级计算机,用于处理天气和气候预测、药物研发、量子计算等复杂任务
发布的关键产品是基于英伟达的“hopper”架构的hgx h200 gpu,它是h100 gpu的继任者,并且是该公司首款采用hbm3e内存的芯片。hbm3e内存具有更快的速度和更大的容量,因此非常适合大型语言模型的应用
英伟达表示:“借助hbm3e技术,英伟达h200内存速度达到每秒4.8tb,容量为141gb,几乎是a100的两倍,带宽也增加了2.4倍。”
在人工智能领域,英伟达宣称hgx h200在llama 2(700亿参数llm)上的推理速度比h100快了一倍。hgx h200将提供4路和8路的配置,与h100系统中的软件和硬件兼容
它将适用于每一种类型的数据中心(本地、云、混合云和边缘),并由 amazon web services、google cloud、microsoft azure 和 oracle cloud infrastructure 等部署,将于 2024 年第二季度推出。
英伟达此次发布的另一个关键产品是 gh200 grace hopper“超级芯片(superchip)”,其将 hgx h200 gpu 和基于 arm 的英伟达 grace cpu 通过该公司的 nvlink-c2c 互连结合起来,官方称其专为超级计算机设计,让“科学家和研究人员能够通过加速运行 tb 级数据的复杂 ai 和 hpc 应用程序,来解决世界上最具挑战性的问题”。
gh200 将被用于“全球研究中心、系统制造商和云提供商的 40 多台 ai 超级计算机”,其中包括戴尔、eviden、惠普企业(hpe)、联想、qct 和 supermicro。
值得注意的是,hpe 的 cray ex2500 超级计算机将采用四路 gh200,可扩展到数万个 grace hopper 超级芯片节点
以上就是英伟达发布ai芯片h200:性能飙升90%,llama 2推理速度翻倍的详细内容。