中华网 china.com

新闻

里程碑时刻！蚂蚁推出业内首个100B扩散语言模型 性能超越同级

小 大

用微信扫描二维码
分享至好友和朋友圈

关键词：
2025-12-13 17:07:32  IT之家

蚂蚁技术研究院今日宣布推出LLaDA2.0系列离散扩散大语言模型，并同步公开了背后的技术报告，宣称这是业内首个100B扩散语言模型。LLaDA2.0包含MoE架构的16B和100B两个版本，将Diffusion模型的参数规模首次扩展到了100B量级。

该研究院表示，此次发布的模型不仅打破了扩散模型难以扩展的固有印象，还在代码、数学和智能体任务上展现出了超越同级自回归模型的性能。通过创新的Warmup-Stable-Decay持续预训练策略，LLaDA2.0能够无缝继承现有自回归模型的知识，避免了从头训练的高昂成本。结合置信度感知并行训练和扩散模型版DPO，LLaDA2.0在保证生成质量的同时，利用扩散模型的并行解码优势，实现了相比自回归模型2.1倍的推理加速，证明了在超大规模参数下，扩散模型不仅可行，而且更强、更快。

蚂蚁技术研究院在知识理解、数学、代码、推理及智能体等多个维度对模型进行了评估。结果显示，LLaDA2.0在结构化生成任务（如代码）上具有显著优势，并在其他领域与开源自回归模型持平。LLaDA2.0的模型权重及相关训练代码已在Huggingface开源。

(责任编辑：zhangxiaohua)
关闭

游客坐马拉爬犁 像“流放宁古塔” 冰雪旅游新体验

游客坐马拉爬犁像流放宁古塔2026-01-19 13:11:41

多地“刨猪宴”被紧急叫停 安全考量成主因

多地刨猪宴被紧急叫停2026-01-19 13:11:09

被妻子道歉出轨丈夫现状曝光 停职调查中

被妻子道歉出轨丈夫现状曝光2026-01-19 13:09:22

男孩车祸昏迷同学录视频呼唤 奇迹般苏醒

男孩车祸昏迷同学录视频呼唤2026-01-19 13:00:21

伊朗紧急发出“全面战争”警告 局势紧张升级

伊朗紧急发出全面战争警告2026-01-19 11:11:19

巴以均不满“和平委员会”成员 名单争议不断

巴以均不满和平委员会成员2026-01-19 13:00:04

俄称打击乌能源交通基础设施 瞄准战争命脉

俄称打击乌能源交通基础设施2026-01-19 11:23:54

斯巴达勇士赛百米障碍赛首次落地中国 精英选手激烈角逐

斯巴达勇士赛百米障碍赛首次落地中国2026-01-19 12:51:05

越来越多野生动物“爱上”都市生活 共存之道探索中

越来越多野生动物爱上都市生活2026-01-19 12:57:47

欧盟37人大军少了15人！丹麦部队手里的武器，都是美式武器

欧盟37人大军少了15人2026-01-19 09:49:16

被妻子道歉出轨丈夫现状曝光 停职调查中

被妻子道歉出轨丈夫现状曝光2026-01-19 13:09:22

多地“刨猪宴”被紧急叫停 安全考量成主因

多地刨猪宴被紧急叫停2026-01-19 13:11:09

血战利曼！15公里战线乌军只部署千人 乌军防线告急

血战利曼,15公里战线乌军只部署千人2026-01-19 10:23:22

游客坐马拉爬犁 像“流放宁古塔” 冰雪旅游新体验

游客坐马拉爬犁像流放宁古塔2026-01-19 13:11:41

2025年城镇调查失业率平均值5.2% 就业形势总体稳定

2025年城镇调查失业率平均值5,2%2026-01-19 13:06:29

媒体：U23国足彰显前所未有的自信 铁血防守创造历史

媒体,U23国足彰显前所未有的自信2026-01-19 12:58:22

神20返回任务圆满成功 舱内物品状态良好

神20返回任务圆满成功2026-01-19 10:55:16

欧洲被美国逼到墙角 被迫寻求与俄对话

欧洲被美国逼到墙角2026-01-19 09:50:36

三预警齐发多地紧急通知停课 寒潮引发大范围雨雪

三预警齐发多地紧急通知停课2026-01-19 12:56:14

高市欲提前选举 反高市联盟马上成立 在野党联合抗争

高市欲提前选举反高市联盟马上成立2026-01-19 11:49:15

美国邀约60国加入特朗普版联合国 引发多方谨慎回应

美国邀约60国加入特朗普版联合国2026-01-19 11:24:17

台退将称歼20将改变西太军力平衡

台退将称歼20将改变西太军力平衡2026-01-19 09:45:57

警方通报男子摆拍视频污名化成都 恶意编造散布虚假信息

警方通报男子摆拍视频污名化成都2026-01-19 12:55:53

专家：格陵兰岛难逃美国魔爪 欧洲象征性派兵难阻夺岛

专家,格陵兰岛难逃美国魔爪2026-01-19 11:50:24

今明两天是北京此次持续低温天气的谷底，周四气温缓慢回升 寒意不减风力减弱

今明两天是北京此次持续低温天气的谷底,周四气温缓慢回升2026-01-19 13:07:01

张杰未live巡回演唱会 开往1982音乐之旅

张杰未live巡回演唱会2026-01-19 13:11:06

女子患病离世确诊仅2个多月 罕见病夺命速

女子患病离世确诊仅2个多月2026-01-19 12:55:31

德：将同欧洲伙伴应对美加税 欧盟反制清单激活

德将同欧洲伙伴应对美加税2026-01-19 10:59:27

连续涨薪37年公司因只涨20元致歉 经营困境中的最大心意

连续涨薪37年公司因只涨20元致歉2026-01-19 13:06:45

美国移民执法政治化的结构性裂变 街头冲突映射深层分裂

美国移民执法政治化的结构性裂变2026-01-19 11:02:48

3名游客冰面徒步掉入河中 野冰危险，请勿涉足！

3名游客冰面徒步掉入河中2026-01-19 13:04:56

美国男子持步枪守护社区对抗ICE 冲突再起引发抗议

美国男子持步枪守护社区对抗ICE2026-01-19 13:04:19

伊朗最高领袖：美国和以色列是伊朗暴力事件幕后黑手 指责特朗普造成伤亡

伊朗最高领袖,美国和以色列是伊朗暴力事件幕后黑手2026-01-19 10:44:46

日媒曝中国要求日企提交更详尽材料 稀土出口受限引发连锁反应

日媒曝中国要求日企提交更详尽材料2026-01-19 10:56:18

神二十成功着陆 应急救援彰显航天韧性

神二十成功着陆2026-01-19 09:50:07

相关新闻

主编邮箱
网上不良信息举报电话：010-56177181
关于中华网 | 广告服务 | 联系我们 | 招聘信息 | 版权声明 | 豁免条款 | 友情链接 | 中华网动态
版权所有 中华网