当前位置:首页 > 移动互联 > 188GB显存 800W功耗!NVIDIA发布H100 NVL加速卡:ChatGPT提速12倍

188GB显存 800W功耗!NVIDIA发布H100 NVL加速卡:ChatGPT提速12倍

2025-07-11 阅读 0
188GB显存 800W功耗!NVIDIA发布H100 NVL加速卡:ChatGPT提速12倍

ChatGPT作为当下最火爆的AI应用,之所以能达到如此“聪明”的程度,背后离不开海量的训练,离不开强大的算力,使用的是NVIDIAA100加速计算卡。

GTC2023春季技术大会上,NVIDIA又发布了顶级的H100NVL,它是已有H100系列的特殊加强版,专为大型语言模型(LLM)进行优化,是部署ChatGPT等应用的理想平台。

H100NVL单卡具备多达94GBHBM3高带宽显存(内存),照此容量看显然是开启了完整的6144-bit位宽,并启用了全部六颗,等效频率按照5.1GHz计算的话,带宽就是恐怖的3.9TB/s。

但也有个问题,六颗HBM3显存总容量应该是96GB,但是这里少了2GB,官方没有解释,猜测还是出于良品率考虑,屏蔽了少数存储单元。

相比之下,H100PCIe/SXM版本都只开启了5120-bit位宽,六个显存位只使用五个,容量均为80GB,区别在于一个是HBM2e2TB/s带宽,一个是HBM33.35TB/s带宽。

H100NVL还可以双卡组成一个计算节点,彼此通过PCIe5.0总线互连,总显存容量就是188GB,总显存带宽7.8TB/s,NVLink带宽600GB/s,总功耗可达700-800W。

计算性能相当于H100SXM的整整两倍,意味着也开启了全部16896个CUDA核心、528个Tensor核心,其中FP64双精度浮点性能64TFlops,FP32单精度浮点性能134TFlops。

再加上Transformer引擎加速的辅佐,在数据中心规模,H100NVL与上一代A100相比,GPT-3上的推理性能提高了多达12倍。

H100NVL将在今年下半年开始出货,价格……尽情想象去吧。

值得一提的是,NVIDIA还同时推出了其他两套推理平台:

NVIDIAL4:

适用于AI视频,性能比CPU高出120倍,能效提高99,提供强大的的视频解码和转码能力、视频流式传输、增强现实、生成式AI视频等。

NVIDIAL40:

适用于图像生成,针对图形以及AI支持的2D、视频和3D图像生成进行了优化,与上一代产品相比,StableDiffusion推理性能提高7倍,Omniverse性能提高12倍。

顺带一提,CPU、GPU二合一的NVIDIAGraceHopper适用于图形推荐模型、矢量数据库、图神经网络,通过NVLink-C2C900GB/s带宽连接CPU和GPU,数据传输和查询速度比PCIe5.0快了7倍。

预约SEO专家添加微信号:xxxxxxx 领取免费VIP内部课程
© 著作权归作者所有
宏煊网络科技 作者
宏煊网络科技是专业科技新媒体网站。网站著眼于新一代科技新闻的全面及时处理报导,让网民在外面第二时间交待全球新一代的科技资讯。内容涵括AI+、互联网、IT、创业投资、核定、区块链、智能硬件等领域
曾操作某大型门户网站日IP达100万(纯SEO流量),拥有上千网站提供SEO友情链接资源(参加培训免费赠送100个单向友情链接),免费赠送附子SEO内部VIP课程,2018年新版实战课程介绍