中华网 china.com

新闻

英伟达创满血DeepSeek推理世界纪录 性能显著提升

小 大

用微信扫描二维码
分享至好友和朋友圈

关键词：
2025-03-20 09:03:59  IT之家

英伟达在NVIDIA GTC 2025上宣布，其NVIDIA Blackwell DGX系统创下DeepSeek-R1大模型推理性能的世界纪录。在搭载了八块Blackwell GPU的单个DGX系统上运行6710亿参数的满血DeepSeek-R1模型可实现每用户每秒超250 token的响应速度，系统最高吞吐量突破每秒3万token。

英伟达创满血DeepSeek推理世界纪录

随着NVIDIA平台继续在最新的Blackwell Ultra GPU和Blackwell GPU上突破推理极限，其性能将会不断提高。例如，在运行TensorRT-LLM软件的NVL8配置的NVIDIA B200 GPU上，单节点配置为DGX B200（8块GPU）与DGX H200（8块GPU），测试参数为输入1024 token / 输出2048 token；此前测试为输入/输出各1024 token，计算精度方面，B200采用FP4，H100/H200采用FP8精度。

英伟达创满血DeepSeek推理世界纪录 性能显著提升

自2025年1月以来，通过硬件和软件的结合，英伟达成功将DeepSeek-R1 671B模型的吞吐量提高了约36倍。节点配置包括DGX B200（8块GPU）、DGX H200（8块GPU）以及两个DGX H100（8块GPU）系统，测试参数依然采用TensorRT-LLM内部版本，输入1024 token / 输出2048 token，并发性MAX，计算精度方面，B200采用FP4，H100/H200采用FP8精度。

英伟达创满血DeepSeek推理世界纪录 性能显著提升

与Hopper架构相比，Blackwell架构与TensorRT软件相结合实现了显著的推理性能提升。DGX B200平台在运行TensorRT软件并使用FP4精度时，与DGX H200平台相比提供了3倍以上的推理吞吐量提升，适用于包括DeepSeek-R1、Llama 3.1 405B和Llama 3.3 70B在内的多个模型。在对模型进行量化以利用低精度计算优势时，确保精度损失最小化是生产部署的关键。在DeepSeek-R1模型上，相较于FP8基准精度，TensorRT Model Optimizer的FP4训练后量化技术在不同数据集上仅产生微乎其微的精度损失。

关闭

涂屎在同事工位被拘5日！公司：开除！本人不服官司一路打上高院 争议旷工认定

涂屎在同事工位被拘5日,公司,开除,本人不服官司一路打上高院2025-03-20 09:03:43

13岁男孩1个月花光4.3万积蓄 游戏充值与网购惹祸

13岁男孩1个月花光4,3万积蓄2025-03-20 09:02:22

俄罗斯一油库遭空袭 无人机袭击引发火灾

俄罗斯一油库遭空袭2025-03-20 09:02:06

胡锡进谈尼日尔要求3名中企高管离境 支持在不稳定地区打拼的中国公司

胡锡进谈尼日尔要求3名中企高管离境2025-03-20 08:55:18

专家：也门爆发代理人战争风险上升 中东局势紧张升级

专家,也门爆发代理人战争风险上升2025-03-20 08:34:24

专家：中韩海警在苏岩礁对峙 韩方抗议引发争议

专家,中韩海警在苏岩礁对峙2025-03-20 08:32:28

中国游客在巴厘岛海滩被冲走 搜救仍在进行中

中国游客在巴厘岛海滩被冲走2025-03-20 09:00:22

特斯拉过保前换电机半年后又要换 质保争议再起

特斯拉过保前换电机半年后又要换2025-03-20 08:59:50

英伟达GTC大会后华尔街反应冷淡，能否反攻？ 新故事未能打动市场

英伟达GTC大会后华尔街反应冷淡,能否反攻2025-03-20 09:00:35

发完社媒就爆发？曾凡博13中9爆砍27 6：各种暴扣引爆全场 末节独得16分

发完社媒就爆发,曾凡博13中9爆砍276,各种暴扣引爆全场2025-03-20 09:01:48

傅聪：强烈谴责以色列再次挑起战火 呼吁实现持久停火

傅聪,强烈谴责以色列再次挑起战火2025-03-20 08:57:40

专家：美俄二度通话普京又赢一局 特朗普有求于普京

专家,美俄二度通话普京又赢一局2025-03-20 08:32:06

泽连斯基相信今年就能实现持久和平 乌美共同努力

泽连斯基相信今年就能实现持久和平2025-03-20 08:40:42

许家印被曝还有两名未成年子女 家族秘密曝光

许家印被曝还有两名未成年子女2025-03-20 08:55:07

外交部：坚决反对日方企图在台湾问题上模糊历史事实 违背承诺挑战底线

外交部,坚决反对日方企图在台湾问题上模糊历史事实2025-03-20 08:58:43

上海一中学多名学生呕吐腹泻 诺如病毒引发关注

上海一中学多名学生呕吐腹泻2025-03-20 09:00:34

中国对日本的外交态度将更严厉？中方回应 望日方正视历史向前看

中国对日本的外交态度将更严厉,中方回应2025-03-20 08:38:58

男子流浪20年 侄女刷视频认出 顶尖大学毕业生终与家人团聚

男子流浪20年侄女刷视频认出2025-03-20 08:59:46

开始明抢？中国360亿海外资产被人盯上了

开始明抢,中国360亿海外资产被人盯上了2025-03-20 08:31:42

蔡甸莲藕刷新全球最长纪录 3.473米“藕王”诞生

蔡甸莲藕刷新全球最长纪录2025-03-20 08:56:51

美机构警告：特朗普正“承诺”衰退；未来一两年内或陷入

美机构警告,特朗普正承诺衰退2025-03-20 08:30:32

涂屎在同事工位被拘5日！公司：开除！本人不服官司一路打上高院 争议旷工认定

涂屎在同事工位被拘5日,公司,开除,本人不服官司一路打上高院2025-03-20 09:03:43

0添加"酱油被查出添加：重金属污染物仍存疑

"0添加"酱油被查出添加2025-03-20 08:55:49

律师称千禾0酱油存主观误导嫌疑 商标争议引发热议

律师称千禾0酱油存主观误导嫌疑2025-03-20 08:53:34

欲强闯我驻韩使馆男子被逮捕 身穿“美国队长”服装

欲强闯我驻韩使馆男子被逮捕2025-03-20 08:34:08

菲律宾严重分裂 马科斯罪名锁定？政治斗争白热化

菲律宾严重分裂马科斯罪名锁定2025-03-20 08:31:03

监管部门对华莱士涉事门店进行查处 全市范围展开检查

监管部门对华莱士涉事门店进行查处2025-03-20 09:00:03

教体局调查中学老师当学生面杀猫 校方深感歉意将开设心理疏导课

教体局调查中学老师当学生面杀猫2025-03-20 08:59:14

俄罗斯一油库遭空袭 无人机袭击引发火灾

俄罗斯一油库遭空袭2025-03-20 09:02:06

泽连斯基重申愿接受全面停火 迈向持久和平第一步

泽连斯基重申愿接受全面停火2025-03-20 08:30:17

大乐透开出2注1000万大奖 分落鲁粤 两地彩民喜中头奖

大乐透开出2注1000万大奖分落鲁粤2025-03-20 09:00:00

男孩点鞭炮烧车被判赔8万多 家长监护责任引关注

男孩点鞭炮烧车被判赔8万多2025-03-20 09:00:03

谢浩男爸爸回应认亲宴仓促 二十五年寻子终圆满

谢浩男爸爸回应认亲宴仓促2025-03-20 08:53:50

大V谈土耳其总统头号政敌被抓 股市熔断反应强烈

大V谈土耳其总统头号政敌被抓2025-03-20 08:34:45

13岁男孩1个月花光4.3万积蓄 游戏充值与网购惹祸

13岁男孩1个月花光4,3万积蓄2025-03-20 09:02:22

相关新闻

主编邮箱
网上不良信息举报电话：010-56177181
关于中华网 | 广告服务 | 联系我们 | 招聘信息 | 版权声明 | 豁免条款 | 友情链接 | 中华网动态
版权所有 中华网
今日快讯
英首相视察核潜艇 核威慑展示了 老化问题也暴露了美特使：乌内部已达成共识将举行总统选举特朗普宣布美国要造六代机F-47英首相视察核潜艇 核威慑展示了 老化问题也暴露了美特使：乌内部已达成共识将举行总统选举特朗普宣布美国要造六代机F-47
×