英伟达发布全球最强ai芯片h200:性能较h100提升近一倍
快科技今日(11月14日)消息,在2023年全球超算大会(sc2023)上,芯片巨头英伟达发布了h100芯片的继任者,也是目前世界最强的ai芯片——h200。
h200的性能相较于h100有了60%到90%的直接提升
不仅如此,h200与h100一样都是基于英伟达hopper架构打造,这也意味着两款芯片可以互相兼容,对于使用h100企业而言,可以无缝更换成最新的h200。
h200是英伟达首款采用hbm3e内存的芯片,具有更快的速度和更大的容量,非常适合用于大型语言模型的训练和推理
除了hbm3e内存外,h200的内存容量为141gb,带宽从h100的3.35tb/s增加到了4.8tb/s。
h200的性能提升最主要体现在大模型推理表现上,h200 在700亿参数的llama2大模型上的推理速度比h100快了一倍,而且在推理能耗上h200相比h100直接降低了一半。
h200具备更高的显存带宽,对于显存密集型的高性能计算应用而言,这意味着可以更有效地访问操作数据。与中央处理器(cpu)相比,使用h200可以将结果的获取时间最多提升110倍
英伟达表示h200预计将于2024年第二季度出货,售价还暂未公布,不过在算力荒下,大科技公司们估计还是会疯狂囤货。
以上就是英伟达发布全球最强ai芯片h200:性能较h100提升近一倍的详细内容。