
快科技讯3月19日消息,今天凌晨,黄仁勋正式拿出了新一代Blackwell GPU架构,以及基于此的B100/B200 GPU芯片、GB200超级芯片和DGX超级计算机,再一次将“战术核弹”提升到一个新的高度,领先世界。
Blackwell B200 GPU首次采用芯片封装,包括两个b100, B200通过第五代NVlink 5总线互连,带宽翻倍至1.8TB/s,最多可连接576个块。
B100采用特别定制的台积电4NP工艺(H100/RTX 40 4N工艺的增强版)制造,通过10TB/s带宽的片间互连带宽相互连接,达到光刻极限尺寸的两倍,形成统一的B200 GPU。
B100集成了多达1040亿个晶体管,比上一代H100的800亿个晶体管增加了30%。B200总共有2080亿个晶体管。
核心面积尚未公布,但考虑到工艺限制,应该不会比814平方毫米的H100大很多。
CUDA内核的数量没有提到,但肯定会超过H100的16896个。不知道能不能超过20000 ?
每台B100连接4台24GB HBM3E显存/内存,等效频率8GHz,位宽4096位,带宽4TB/s。
这样,B200的HBM3E最高可达192GB,总位宽8096位,总带宽8TB/s,分别是H100的1.4倍、58%和1.4倍。
在性能方面,B200新支持FP4 Tensor数据格式,性能达到9PFlops(9千万亿次/秒);INT/FP8、FP16和TF32 Tensor性能分别达到4.5、2.25和1.1PFlops,分别提升1.2倍、1.3倍和1.3倍。然而,FP64 Tensor的性能下降了40%(依赖于GB200),并且FP32和FP64 Vector的性能没有公布。
Blackwell GPU还支持第二代Transformer引擎,支持新的微张量缩放,并与TensorRT-LLM和NeMo Megatron框架中的先进动态范围管理算法配对,从而通过新的4位浮点AI推理能力实现计算能力和模型尺寸的翻倍。
其他包括RAS可靠性特定引擎、安全AI、解压引擎等。
在功耗方面,B100控制在700W,与上一代H100完全相同,而B200首次达到1000W。
NVIDIA声称Blackwell GPU可以在10万亿个参数的大型模型上实现AI训练和实时大型语言模型推理。
GB200 Grace Blackwell是Grace hopper从单个GPU +单个CPU升级到两个GPU +一个CPU后的新一代超级芯片,GPU部分为B200, CPU部分保持不变,仍然是Grace。通过900GB/s带宽实现超低功耗芯片间互连。
在大型语言模型推理工作负载方面,GB200超级芯片的性能比H100提高了30倍。
但价格也高,GB200的功耗可达2700w,可采用单独冷却,更建议采用液冷。
基于GB200超级芯片,英伟达打造了新一代AI超级计算机“DGX SuperPOD”,搭载36颗超级芯片,其中包括36颗Grace cpu, 72颗B200 gpu,通过NVlink 5相互组合,最高可达240TB HBM3E。
这台AI超级计算机可以处理数万亿参数的大型模型,保证超大规模生成式AI训练和推理工作负载的连续运行。在FP4精度下的性能高达11.5 fflop(每秒1150亿次)。
DGX SuperPOD还具有极高的可扩展性,可以通过Quantum-X800 InfiniBand网络连接。扩展到数万颗GB200超级芯片,并增加BlueField-3 DPU数据处理单元,每个GPU可获得1.8TB/s的高带宽。
第四代SHARP (Scalable Hierarchical Aggregation and Protocol)技术可提供14.4TFlops的网络计算能力,是上一代的4倍。
此外,英伟达还发布了第六代通用AI超级计算平台“DGX B200”,包括2颗英特尔第五代至强处理器和8颗B200 gpu,具有1.4TB HBM3E, 64TB/s带宽,FP4精度性能达到144PFlops(每秒140亿次),对万亿参数模型的实时推理速度提升15倍。
DGX B200系统还集成了8张NVIDIA ConnectX-7网卡和2张BlueField-3 DPU高性能网络。每次连接带宽最高可达400Gb/s。支持通过Quantum-2 InfiniBand和Spectrum?-X以太网网络平台。更高的AI性能。
产品英航基于Blackwell的GPU将于今年晚些时候推出,并将被亚马逊云、戴尔、谷歌和me采用微软、OpenAI、甲骨文、特斯拉、xAI等。
亚马逊云、谷歌云、微软Azeure和甲骨文云将成为首批提供Blackwell GPU驱动程序实例的云服务提供商。NVIDIA云合作伙伴计划中的Applied Digital、CoreWeave、Crusoe、IBM Cloud和Lambda也将提供上述服务。
Indosat Ooredoo Hutchinson、Nebius、Nexgen Cloud、Oracle EU Sovereign Cloud、Oracle US/UK/Australia Government Cloud、Scaleway、Singtel、Northern Data Group的Taiga Cloud、Yotta Data Services的Shakti Cloud、YTL Power International等主权AI Cloud也将提供基于Blackwell架构的云服务和基础设施。






