中华网 china.com

新闻

里程碑时刻！蚂蚁推出业内首个100B扩散语言模型 性能超越同级

小 大

用微信扫描二维码
分享至好友和朋友圈

关键词：
2025-12-13 17:07:32  IT之家

蚂蚁技术研究院今日宣布推出LLaDA2.0系列离散扩散大语言模型，并同步公开了背后的技术报告，宣称这是业内首个100B扩散语言模型。LLaDA2.0包含MoE架构的16B和100B两个版本，将Diffusion模型的参数规模首次扩展到了100B量级。

里程碑时刻！蚂蚁推出业内首个100B扩散语言模型

该研究院表示，此次发布的模型不仅打破了扩散模型难以扩展的固有印象，还在代码、数学和智能体任务上展现出了超越同级自回归模型的性能。通过创新的Warmup-Stable-Decay持续预训练策略，LLaDA2.0能够无缝继承现有自回归模型的知识，避免了从头训练的高昂成本。结合置信度感知并行训练和扩散模型版DPO，LLaDA2.0在保证生成质量的同时，利用扩散模型的并行解码优势，实现了相比自回归模型2.1倍的推理加速，证明了在超大规模参数下，扩散模型不仅可行，而且更强、更快。

蚂蚁技术研究院在知识理解、数学、代码、推理及智能体等多个维度对模型进行了评估。结果显示，LLaDA2.0在结构化生成任务（如代码）上具有显著优势，并在其他领域与开源自回归模型持平。LLaDA2.0的模型权重及相关训练代码已在Huggingface开源。

(责任编辑：zhangxiaohua)
关闭

10斤车厘子批发价从1700元降至500 海运量大压价促销

10斤车厘子批发价从1700元降至5002025-12-13 17:05:54

景区演员雪天跳入水中 网友直呼敬业 大宋东京保卫战演出

景区演员雪天跳入水中网友直呼敬业2025-12-13 17:00:20

不同年龄段备孕指南请收好 科学认识生育力健康曲线

不同年龄段备孕指南请收好2025-12-13 17:00:02

林诗栋蒯曼混双无缘决赛 遗憾落败暴露短板

林诗栋蒯曼混双无缘决赛2025-12-13 16:33:05

10人聚餐9人开溜事件组局者隐身 承诺书成追债凭证

10人聚餐9人开溜事件组局者隐身2025-12-13 16:51:49

警方回应男子与已婚前女友生女无法落户 5年抚养难题待解

警方回应男子与已婚前女友生女无法落户2025-12-13 16:48:11

10斤车厘子批发价从1700元降至500 海运量大压价促销

10斤车厘子批发价从1700元降至5002025-12-13 17:05:54

黄国昌痛批赖清德“毁宪乱政” 独裁专制引发宪政危机

黄国昌痛批赖清德毁宪乱政2025-12-13 16:43:17

塞尔维亚最新涉台表态 坚定支持一个中国原则

塞尔维亚最新涉台表态2025-12-13 13:38:59

景区演员雪天跳入水中 网友直呼敬业 大宋东京保卫战演出

景区演员雪天跳入水中网友直呼敬业2025-12-13 17:00:20

纪念我们从未忘记的5098天 铭记历史珍爱和平

纪念我们从未忘记的5098天2025-12-13 16:58:17

特朗普金卡是新国家安全“生意”吗 签证计划引发热议

特朗普金卡是新国家安全生意吗2025-12-13 16:47:36

泽连斯基为何此时奔赴库皮扬斯克 引爆国际舆论

泽连斯基为何此时奔赴库皮扬斯克2025-12-13 16:21:17

雪后北京积水潭医院骨科已接诊170人 滑倒摔伤患者激增

雪后北京积水潭医院骨科已接诊170人2025-12-13 16:32:37

谢霆锋张柏芝大儿子被偶遇 18岁Lucas帅气似父

谢霆锋张柏芝大儿子被偶遇2025-12-13 16:30:57

特朗普回应与爱泼斯坦同框照被公布 否认不当行为

特朗普回应与爱泼斯坦同框照被公布2025-12-13 16:00:39

北京初雪后小雪人留下孩子们的快乐 雪中“撒野”乐趣多

北京初雪后小雪人留下孩子们的快乐2025-12-13 16:31:16

辽宁舰此次出第一岛链演练了什么 双航母协同作战

辽宁舰此次出第一岛链演练了什么2025-12-13 13:42:38

贾鲁河源头为何“复活”了 暖泉复涌引关注

贾鲁河源头为何复活了2025-12-13 16:36:12

2026年房子该留该卖还是该换 因城施策稳楼市

2026年房子该留该卖还是该换2025-12-13 16:33:23

解放军东部战区多舰艇实战化演练 提升联合封锁打击能力

解放军东部战区多舰艇实战化演练2025-12-13 12:22:31

中俄巡航是“对日示威”？专家解答 揭开日本炒作真相

中俄巡航是对日示威,专家解答2025-12-13 16:47:22

俄提醒中国：一旦中日发生冲突，中国怕是不止日本一个敌人！ 美日同盟背后的隐秘布局

俄提醒中国,一旦中日发生冲突,中国怕是不止日本一个敌人2025-12-13 13:47:11

成都女子家门口被害案将再开庭 母亲誓为女儿讨公道

成都女子家门口被害案将再开庭2025-12-13 16:34:56

中国造出全球首款空中航母 蜂群战术震撼亮相

中国造出全球首款空中航母2025-12-13 13:47:34

曝泰柬冲突中泰军VT-4坦克炸膛 展现强大威力

曝泰柬冲突中泰军VT-4坦克炸膛2025-12-13 16:03:16

东部战区发布重磅主题海报《大刀·祭》 铭记历史警钟长鸣

东部战区发布重磅主题海报大刀·祭2025-12-13 13:44:55

泽连斯基拿什么跟美欧谈条件 选举与安全的博弈

泽连斯基拿什么跟美欧谈条件2025-12-13 13:49:20

有人战斗机的装备九天无人机都能带 空中航母首飞成功

有人战斗机的装备九天无人机都能带2025-12-13 13:45:28

泰军F-16飞过 柬重机枪手猛烈开火 边境紧张局势升级

泰军F-16飞过柬重机枪手猛烈开火2025-12-13 16:14:28

记者：美对华风向变了 美方态度微妙调整

记者,美对华风向变了2025-12-13 12:13:06

向太回应向佐哭诉娱乐圈很恐怖 硬汉落泪谈复杂环境

向太回应向佐哭诉娱乐圈很恐怖2025-12-13 16:32:52

英国宣布进入战时状态，并被北约警告做好与俄罗斯开战准备 北约秘书长发出强硬警告

英国宣布进入战时状态,并被北约警告做好与俄罗斯开战准备2025-12-13 13:39:23

不同年龄段备孕指南请收好 科学认识生育力健康曲线

不同年龄段备孕指南请收好2025-12-13 17:00:02

柬埔寨重机枪手向泰F16战机猛烈开火 边境冲突升级

柬埔寨重机枪手向泰F16战机猛烈开火2025-12-13 16:14:43

相关新闻

主编邮箱
网上不良信息举报电话：010-56177181
关于中华网 | 广告服务 | 联系我们 | 招聘信息 | 版权声明 | 豁免条款 | 友情链接 | 中华网动态
版权所有 中华网