英伟达年终核弹!全新B300为o1推理大模型打造 RTX5090也曝光了
英伟达老黄,英伟也曝成了今年的达年弹全大模圣诞老黄。 AI芯片大礼包刚刚曝光: GPU新核弹B300,终核造以及附带CPU的新B型打超级芯片GB300。 高算力,推理在产品层面上相比B200在FLOPS上提高50% 大显存,英伟也曝从192GB提升到288GB,达年弹全大模也是终核造提高了50%。 包含72块GB300的新B型打“新一代计算单元”GB300 NVL72,更是推理被评价为“能让OpenAI o1/o3推理大模型的思维链长度,在高batch size下达到10万tokens的英伟也曝唯一方案”。 这与今年3月份“AI春晚”发布的达年弹全大模B200系列只隔了几个月。 根据SemiAnalysis爆料,终核造从第三季度开始,新B型打许多AI巨头已经将订单从B200转移到了B300(只有微软还在第四季度继续购买了部分B200)。推理 有不少网友感叹,更新速度实在太快了! 既是解决了此前传闻中B200因设计缺陷被迫推迟的问题,又是对隔壁AMD MI300系列后续产品将在2025年提升显存容量的回应。 又一款AI核弹 既然都是Blackwell架构没有跨代,B300的算力提高来自哪里呢? 根据这次爆料,主要有三部分: 工艺节点,与B200使用同样的台积电4NP,但是全新流片 增加功率,GB300和B300 HGX的TDP分别达到1.4KW、1.2KW,相比之下B200系列分别提高0.2KW 架构微创新,例如在CPU和GPU之间动态分配功率 除了更高FLOPS之外,B300系列的显存也做了升级: 从8层堆叠的HBM3E升级到12层(12-Hi HBM3E) 显存容量从192GB升级到288GB 显存带宽保持不变,仍为8TB/s 此外产品交付层面还有一个大变化: GB200系列提供整个Bianca Board,也就包括两颗GPU、一颗CPU、CPU的内存等所有组件都集成在一块PCB版上。 GB300系列将只提供参考板(Reference Board),包括两颗B300 GPU、一颗Grace CPU、HMC(Hybrid Memory Cube),LPCAMM内存模块等组件将由客户自行采购。 这给供应链上的OEM和ODM制造商带来了新的机会。 为推理大模型打造 显存的升级对OpenAI o1/o3一类的推理大模型至关重要,因为推理思维链长度会增加KVCache,影响batch size和延迟。 以一个GB300 NVL72“计算单元”为单位考虑时,它使72个GPU能够以极低的延迟处理相同的问题,并共享显存。 在此基础上从GB200升级到GB300,还可以带来许多好处: 每个思维链的延迟更低 实现更长的思维链 降低推理成本 处理同一问题时,可以搜索更多样本,最终提高模型能力 为了解释这些提升,SemiAnalysis举了个更为直观的例子。 下图是在不同批处理大小下,使用H100和H200两种GPU处理长序列时,Llama 3.1 405B在FP8精度下的处理速度。 输入设置为1000个token、输出19000个token,由此模拟OpenAI o1和o3模型中的思维链。 从H100升级到H200,有两个显著改进。 一是在所有可比较的batch size中,H200的内存带宽更大(H200 4.8TB/s,H100 3.35TB/s),从而使得处理效率普遍提高了43%。 二是H200可运行更高的batch size,这使得其每秒可以生成的token数量增加了3倍,相应地,成本也减少了约3倍。 内存增加所带来的效益远不止表面上的这些。 众所周知,推理模型响应时间一般更长,显著缩短推理时间可以提高用户体验和使用频率。 而且内存升级实现3倍性能提升,成本减少3倍,这一提升速度也远超摩尔定律。 除此之外,SemiAnalysis还分析观察到,能力更强和具有明显差异化的模型能收取更高的溢价—— 前沿模型毛利率超70%,而还在与开源模型竞争的次一级模型毛利率不足20%。 当然,英伟达并不是唯一一家能增加内存的芯片公司,但奈何英伟达还有杀手锏NVLink。 One More Thing 英伟达消费级显卡方面,RTX5090的PCB板也首次曝光了~ 就在昨天,一张RTX 5090 PCB照片在网上疯转。 特点就是超超超大号。 结合此前爆料称5090有可能会配备32GB大显存,有望支持8K超高清游戏,实现60fps的流畅游戏体验。 网友们直接坐不住。 关于5090的发布时间,大伙儿猜测大概会是1月6日老黄CES演讲的时候。 参考链接: [1]https://semianalysis.com/2024/12/25/nvidias-christmas-present-gb300-b300-reasoning-inference-amazon-memory-supply-chain/ [2]https://x.com/mark_k/status/1871864813913330003 [3]https://www.gamesradar.com/platforms/pc-gaming/rtx-5090-will-seemingly-come-armed-with-32gb-vram-and-id-be-surprised-if-8k-gaming-isnt-a-thing-this-generation/
△Grok AI绘图
△GB200概念图
- 最近发表
- 随机阅读
-
- 西蒙尼抱怨赛程密集:连续一周双赛,没人在乎我们的感受
- 贾跃亭:2024爬出泥潭、最想做的是尽快回国
- 苹果今年停产15款产品!这8款降价了也别买
- 黄河流域海拔最高的水电站建成:年发电73亿度、水库能装100个西湖
- 999元!闪极AI拍拍镜发布:国内首款量产AI拍摄眼镜
- 停摆一个多月后:哪吒汽车桐乡工厂将于1月4日复工
- 德转预热K77身价变化:最高可能升至1亿欧元
- [流言板]76人比赛期间麦凯恩在社媒发布纪录片,宣布自己赛季报销
- 米兰2024年度总结:上赛季联赛亚军,本赛季目前仅排第8
- [流言板]邮报:鲁尼被解雇后,印有其海报的新年日历被半价出售
- 东航第10架C919交付入列:机身涂装“闪耀中国红”
- Buha:湖人有意凯斯勒&库兹马等 没太参与有关巴特勒等球星的讨论
- 用10年干欧美30年事!华为:2024年是原生鸿蒙的关键一年
- 坐拥1600万粉丝:网红“潘宏爱玩狗”不反对吃狗肉
- 腾讯音乐集团终审再再被判侵权!赔偿音著协经济损失共计近22万元
- [流言板]快船今日首发:哈登、邓恩、鲍威尔、小琼斯、祖巴茨
- 30款显卡横评!《黑神话:悟空》首发硬件测试
- 余承东:祝大家新的一年所向披靡、强到飞起!
- [流言板]状态火热!乔丹
- [流言板]邮报:鲁尼被解雇后,印有其海报的新年日历被半价出售
- 搜索
-
- 友情链接
-
- 利物浦全胜领跑!三大球星进球,皇马结束两连败,国米吞欧冠首败
- 复刻经典🤩巴斯托尼头球吊门,神似维尔通亨18年头球吊射日本
- pero试试wenbo比大a好
- 现在王朝真有必要玩吗
- 国米公布12月最佳球员候选:迪马尔科、巴雷拉、邓弗里斯和图拉姆
- 结合各方爆料哥信息来看:17是留酒鬼宝蓝,放X北跟小五了
- 伊布昔日评价丰塞卡:深思熟虑后选他当米兰主帅,他是最合适人选
- 利物浦全胜领跑!三大球星进球,皇马结束两连败,国米吞欧冠首败
- 帕拉迪诺:这1分很有价值,小基恩有着出色的品质并能继续成长
- 结合各方爆料哥信息来看:17是留酒鬼宝蓝,放X北跟小五了
- CES 2025 前瞻:雷鸟创新全新产品拍摄眼镜V3夺目登场
- 泪目!159年老队复兴:夺5连胜+30年后再登英超第2 重返欧冠有戏
- 超200万商家获得生意增长 抖音电商助力中小商家降本增收
- 抖音直播发布2024治理报告 AI音频审核大模型让处置效率提升55%
- 名创优品超4000家门店接入“碰一下”支付 引爆年轻消费热潮
- CES 2025 前瞻:雷鸟创新全新产品拍摄眼镜V3夺目登场
- 话说,明天就是新年了
- 这几天老杜的陈列室参数被拿走了?
- 云鲸智能扫拖机器人J5入选2024年度百大优秀科技产品
- 智元机器人重磅开源AgiBot World:百万真机数据集引领具身智能新时代
- [流言板]美记:福克斯可能会申请交易,火箭可能脱颖而出
- 意天空:丰塞卡合同有解约条款,前6个月下课米兰只用付1年工资
- 现在王朝真有必要玩吗
- 浙江队前锋莱昂纳多晒全家福,并送上圣诞祝福
- 迪马济奥:米兰已经通知丰塞卡下课,孔塞桑将出任新帅
- 超200万商家获得生意增长 抖音电商助力中小商家降本增收
- 那不勒斯总监:达尼洛很强但还是尤文的球员,目前没有在谈判
- [流言板]参与央视跨年晚会,张大仙发文:开启新岁华章!
- 云鲸智能扫拖机器人J5入选2024年度百大优秀科技产品
- 23场20胜!46岁利物浦新帅杀疯了:8分优势领跑英超+欧冠全胜领跑