蚂蚁集团取得重大AI突破降低训练成本20%

小大

用微信扫描二维码
分享至好友和朋友圈

关键词：

2025-03-25 11:24:28 中国基金报

国产AI模型再次取得突破。3月24日，蚂蚁集团宣布使用国产芯片开发了一种训练人工智能模型的技术，可将成本降低20%。知情人士透露，蚂蚁集团采用国产芯片，并基于“专家混合”机器学习方法来训练模型，效果与英伟达H800等芯片相当。

蚂蚁集团取得重大AI突破

这一进展表明蚂蚁集团加入了AI领域的竞争。自DeepSeek展示出能够以远低于OpenAI和谷歌的成本训练强大模型以来，竞争加速升级。这也反映出中国企业正积极尝试用本土替代方案取代英伟达的高端半导体产品，尽管H800并非英伟达最顶级的芯片。

蚂蚁集团取得重大AI突破降低训练成本20%

近期，蚂蚁集团Ling团队发表了最新技术成果论文《每一个FLOP都至关重要：无需高级GPU即可扩展3000亿参数混合专家LING大模型》。论文提到，近年来，随着大型语言模型的快速发展，学术界和产业界围绕通用人工智能展开了广泛讨论。尽管稠密模型取得了显著进展，专家混合模型在某些特定任务中已展现出优于传统稠密模型的性能。

蚂蚁集团取得重大AI突破降低训练成本20%

然而，MoE模型的训练通常依赖于高性能计算资源，其高昂的成本限制了其在资源受限环境中的广泛应用。因此，该研究旨在提出创新的训练策略，使LLM在资源和预算受限的情况下也能实现高效训练，推动AI技术的普惠发展。

为了给业界提供一种适用于资源受限场景的模型训练新路径，论文介绍了两款开源MoE模型：Ling-Lite（总参数16.8B，激活参数2.75B）与Ling-Plus（总参数290B，激活参数28.8B），重点展示其探索与优化过程。基于优化技术，蚂蚁集团开发并开源了Ling系列MoE模型，在资源成本与模型性能之间取得良好平衡。例如，Ling-Plus模型在五种不同硬件配置下完成9万亿token的预训练任务。若使用高性能硬件设备训练1万亿token，预计成本为635万元人民币；而使用低规格硬件系统则成本约为508万元，节省近20%。这证明即使在低性能设备上，也能实现大规模MoE模型的有效训练，提升了基础模型开发在计算资源选择上的灵活性与性价比。

12 全文共 2 页下一页

关闭

蚂蚁集团取得重大AI突破 降低训练成本20%

相关新闻

今日热点

频道热点

蚂蚁集团取得重大AI突破降低训练成本20%