中华网 china.com

新闻

清华团队突破大模型算力难题 英伟达面临挑战

小 大

用微信扫描二维码
分享至好友和朋友圈

关键词：
2025-02-15 16:16:59  新浪

清华大学KVCache.AI团队联合趋境科技发布了KTransformers开源项目的重大更新，成功打破了大模型推理算力的门槛。这次更新支持在24G显存（4090D）的设备上本地运行DeepSeek-R1、V3的671B满血版。

KTransformers项目的核心在于异构计算策略。通过稀疏性利用，MoE架构每次仅激活部分专家模块，团队将非共享的稀疏矩阵卸载至CPU内存，并结合高速算子处理，使显存占用压缩至24GB。此外，项目采用了4bit量化技术，配合Marlin GPU算子，效率提升了3.87倍；CPU端通过llamafile实现多线程并行，预处理速度达到286 tokens/s。CUDA Graph加速减少了CPU/GPU通信开销，单次解码只需一次完整的CUDA Graph调用，生成速度可达14 tokens/s。

这一突破带来的影响显著。传统方案中，使用8卡A100服务器的成本超过百万，按需计费每小时数千元。而现在，单卡RTX 4090方案的整机成本约为2万元，功耗仅为80W，非常适合中小团队和个人开发者。NVIDIA RTX 4090运行DeepSeek-R1满血版的案例不仅展示了技术奇迹，也是开源精神与硬件潜能结合的典范。这证明了在AI快速发展的时代，创新往往源于对“不可能”的挑战。

(责任编辑：张蕾)
关闭

联想MWC 2025发布概念性笔电生态 模块化AI创新引领未来

联想MWC2025发布概念性笔电生态2025-03-03 17:13:41

奚梦瑶何超欣姑嫂出游像闺蜜 奚梦瑶何超欣一起出游参观法国酒庄

奚梦瑶何超欣姑嫂出游像闺蜜2025-03-03 17:08:37

全球每年120万人因吸二手烟死亡 每4秒1人逝去

全球每年120万人因吸二手烟死亡2025-03-03 17:08:06

美国多地爆发“抵制特斯拉”示威活动，白宫发声 抗议持续蔓延

美国多地爆发抵制特斯拉示威活动,白宫发声2025-03-03 14:44:43

新研究揭示月球水源双重起源 挑战太阳风理论

新研究揭示月球水源双重起源2025-03-03 16:51:53

白宫碰壁后泽连斯基在唐宁街受到礼遇，欧洲在压力与无奈中集结 欧洲集结声援乌克兰

白宫碰壁后泽连斯基在唐宁街受到礼遇,欧洲在压力与无奈中集结2025-03-03 16:33:24

全球每年120万人因吸二手烟死亡 每4秒1人逝去

全球每年120万人因吸二手烟死亡2025-03-03 17:08:06

《180天重启计划》母女成长之路 温情治愈之旅

180天重启计划母女成长之路2025-03-03 16:49:33

种种迹象表明，美国准备搞掉泽连斯基了 换一个听话的人

种种迹象表明,美国准备搞掉泽连斯基了2025-03-03 14:37:51

山东新人冒雪结婚一秒“白头” 真爱无惧风雪

山东新人冒雪结婚一秒白头2025-03-03 16:44:58

毛不易演唱会北方三城官宣 东北家乡惊喜连连

毛不易演唱会北方三城官宣2025-03-03 17:05:12

各地抢抓“春日经济”流量红利 赏花热带动旅游消费

各地抢抓春日经济流量红利2025-03-03 16:54:02

美国经济的危险深渊：从“拜登通胀”到“特朗普滞胀”？滞胀风险加剧

美国经济的危险深渊,从拜登通胀到特朗普滞胀2025-03-03 14:29:16

若特朗普说话算数 乌军将有多惨？ 援助切断后果严重

若特朗普说话算数乌军将有多惨2025-03-03 16:45:31

政协委员建议合理控制医保保费涨幅 探索匹配收入增长机制

政协委员建议合理控制医保保费涨幅2025-03-03 16:43:11

德媒发现冯德莱恩对中国口气变了 寻求合作新契机

德媒发现冯德莱恩对中国口气变了2025-03-03 17:00:02

寒潮来袭，雪中济南“菜篮子”量足价稳！

寒潮来袭雪中济南菜篮子量足价稳2025-03-03 16:54:35

奚梦瑶何超欣姑嫂出游像闺蜜 奚梦瑶何超欣一起出游参观法国酒庄

奚梦瑶何超欣姑嫂出游像闺蜜2025-03-03 17:08:37

泽连斯基与特朗普谈崩后 欧洲能重回俄乌冲突谈判桌吗？ 欧洲面临历史性抉择

泽连斯基与特朗普谈崩后欧洲能重回俄乌冲突谈判桌吗2025-03-03 16:43:07

泽连斯基称当下取代他并不容易 愿辞职换北约成员资格

泽连斯基称当下取代他并不容易2025-03-03 16:07:21

泽连斯基反讽称可以授予美议员乌公民身份 这样他声音才有分量

泽连斯基反讽称可以授予美议员乌公民身份2025-03-03 14:25:48

专家谈特朗普所信奉的“交易艺术” 极限施压俄乌局势

专家谈特朗普所信奉的交易艺术2025-03-03 14:58:40

白鹿说因为《警察荣誉》才能演《北上》

白鹿说因为警察荣誉才能演北上2025-03-03 17:00:29

美乌领导人谈崩，马克龙“劝架”！呼吁冷静与尊重

美乌领导人谈崩,马克龙劝架2025-03-03 15:31:48

台名嘴围观白宫“世纪争吵”后反思“人为刀俎我为鱼肉”“当棋子的悲哀”

台名嘴围观白宫“世纪争吵”后反思2025-03-03 16:29:44

乌步兵战车遭俄无人机袭击后殉爆 俄军光纤无人机精确打

乌步兵战车遭俄无人机袭击后殉爆2025-03-03 16:27:32

美媒称欧洲正从美国手中夺取和谈主导权 英法提议乌克兰停火一个月

美媒称欧洲正从美国手中夺取和谈主导权2025-03-03 16:47:51

官方通报马拉松选手在中学门前小便 不文明行为遭谴责

官方通报马拉松选手在中学门前小便2025-03-03 16:58:49

缅甸4名高级军官涉嫌电诈被拘 打击行动持续升级

缅甸4名高级军官涉嫌电诈被拘2025-03-03 16:47:07

联想MWC 2025发布概念性笔电生态 模块化AI创新引领未来

联想MWC2025发布概念性笔电生态2025-03-03 17:13:41

泽连斯基再表态：愿以辞职换取乌克兰加入北约 坚定立场引发关注

泽连斯基再表态,愿以辞职换取乌克兰加入北约2025-03-03 16:09:51

特朗普发话少担心普京多担心移民问题 关注国内安全挑战

特朗普发话少担心普京多担心移民问题2025-03-03 14:46:16

泽连斯基：“没有一天不感激”美国 强调美国支持的重要性

泽连斯基,没有一天不感激美国2025-03-03 14:23:27

102项重大工程98%以上完成目标 有力支撑高质量发展

102项重大工程98%以上完成目标2025-03-03 16:50:07

女子吃了未熟香菇身体像被“鞭打” 警惕香菇皮炎

女子吃了未熟香菇身体像被鞭打2025-03-03 17:02:44

相关新闻

主编邮箱
网上不良信息举报电话：010-56177181
关于中华网 | 广告服务 | 联系我们 | 招聘信息 | 版权声明 | 豁免条款 | 友情链接 | 中华网动态
版权所有 中华网