英伟达创满血DeepSeek推理世界纪录 性能显著提升
英伟达在NVIDIA GTC 2025上宣布，其NVIDIA Blackwell DGX系统创下DeepSeek-R1大模型推理性能的世界纪录。在搭载了八块Blackwell GPU的单个DGX系统上运行6710亿参数的满血DeepSeek-R1模型可实现每用户每秒超250 token的响应速度，系统最高吞吐量突破每秒3万token。
随着NVIDIA平台继续在最新的Blackwell Ultra GPU和Blackwell GPU上突破推理极限，其性能将会不断提高。例如，在运行TensorRT-LLM软件的NVL8配置的NVIDIA B200 GPU上，单节点配置为DGX B200（8块GPU）与DGX H200（8块GPU），测试参数为输入1024 token / 输出2048 token；此前测试为输入/输出各1024 token，计算精度方面，B200采用FP4，H100/H200采用FP8精度。
自2025年1月以来，通过硬件和软件的结合，英伟达成功将DeepSeek-R1 671B模型的吞吐量提高了约36倍。节点配置包括DGX B200（8块GPU）、DGX H200（8块GPU）以及两个DGX H100（8块GPU）系统，测试参数依然采用TensorRT-LLM内部版本，输入1024 token / 输出2048 token，并发性MAX，计算精度方面，B200采用FP4，H100/H200采用FP8精度。
与Hopper架构相比，Blackwell架构与TensorRT软件相结合实现了显著的推理性能提升。DGX B200平台在运行TensorRT软件并使用FP4精度时，与DGX H200平台相比提供了3倍以上的推理吞吐量提升，适用于包括DeepSeek-R1、Llama 3.1 405B和Llama 3.3 70B在内的多个模型。在对模型进行量化以利用低精度计算优势时，确保精度损失最小化是生产部署的关键。在DeepSeek-R1模型上，相较于FP8基准精度，TensorRT Model Optimizer的FP4训练后量化技术在不同数据集上仅产生微乎其微的精度损失。
男生去镇上洗头免费吹造型效果惊人！这个服务区共20项服务全部免费
合肥深山惊现百木之王 古老灰楸树绽放紫花
上海发现中国未有神秘生物 类奇异布纹藻现身
美方纠错的步子应该迈得更大一些 关税松动信号显现
辟谣美国建厂！百余股火速回应稳信心：关税影响有限 澄清声明稳定市场情绪
日本人大幅抛售美国国债？自民党高官表态
越野车玩水被冲走两人遇难 网红景点悲剧引发关注
男生去镇上洗头免费吹造型效果惊人！这个服务区共20项服务全部免费
小孩跳楼砸坏新车家长只赔几百 车主索赔遇阻
上海发现中国未有神秘生物 类奇异布纹藻现身
全球发布！哈工大打造机器人领域顶级国际期刊 汇聚全球顶尖学术资源
媒体：欧洲版“星链”前路漫漫 自主之路挑战重重
美伊首轮间接谈判结束 建设性对话继续
大阪世博会中国馆排队一眼望不到头 中国馆成“顶流”
一峪口贴警告“两年失联9人” 提醒游客勿走小路
俄罗斯最新涉华表态 中俄石油合作前景广阔
默茨称将限制移民德国人数 减轻基础设施压力
老婆睡觉前被老公惹怒，老婆一个动作当场把老公治服
合肥深山惊现百木之王 古老灰楸树绽放紫花
欧盟磋商设立共同防务基金 促进统一军购
“卤鹅哥”回应10万元奖励 房贷与车贷的及时雨
美国反复打脸又挽尊伤最狠是自身 关税政策自食其果
雷霆本赛季68胜创队史新纪录 历史级别战绩
欧洲芯片厂齐声警告加税风暴 恐雪上加霜
当地回应小区8楼承重墙被凿 建议加固恢复处理
尹锡悦出席公审 首场审判开启
台民调称近六成民众反对“大罢免” 主流民意不赞成
一名乌克兰F-16飞行员死亡 泽连斯基誓言回应
关税救不了美国制造 违背经济规律
TVB视帝王浩信想挑战一下古偶赛道和拍乡村爱情
2年半卖出30万罐，90后厨师为什么要把“奶油”塞进自动售货机？
10个会悄悄让人变胖的习惯 警惕这些小习惯
美国高管一家5口坠机遇难 美直升机无记录仪 事故调查面临挑战
伊朗与美国首轮间接谈判结束 会谈将在下周继续进行
离开中国后，“甲亢哥”：想念“卤鹅哥” 会带他去美国 真挚友情跨越国界
相关新闻
黄仁勋揭秘下一代芯片Rubin，英伟达想要吃“DeepSeek红利” 推理时代的新机遇
2025-03-19 12:03:54黄仁勋揭秘下一代芯片Rubin英伟达上线DeepSeek 领先推理模型预览版发布
2025-02-01 01:41:22英伟达上线DeepSeek英伟达称DeepSeek离不开其芯片 市场需求增加
1月28日，全球多家科技巨头因DeepSeek的技术进步而受到影响，英伟达的股价在美股市场收跌16.86%，每股报18.58美元
2025-01-28 18:22:15英伟达称DeepSeek离不开其芯片英伟达：DeepSeek未来需要更多芯片 市场需求旺盛
英伟达发表声明表示，中国人工智能公司深度求索（DeepSeek）取得的进展显示出其芯片在中国市场的实用价值。为满足DeepSeek的服务需求，未来将需要更多英伟达芯片
2025-01-28 11:24:53英伟达DeepSeek崛起冲击美股 英伟达股价大跌17%
当地时间1月27日，美国股市开盘即大幅下跌，科技板块尤为惨重。市场分析认为，核心原因是中国人工智能初创公司DeepSeek的最新突破，动摇了美国科技行业的“无敌”地位。
2025-01-28 07:17:05美股DeepSeek继续给巨头上压力 英伟达业绩超预期
英伟达在DeepSeek冲击之下，凭借多个超预期表现再次给投资者带来了信心。财报显示，英伟达第四财季实现营收393.31亿美元，同比增长78%，高于市场预期的380.5亿美元
2025-02-28 18:41:01DeepSeek继续给巨头上压力
