蚂蚁集团Ling团队近日发表了一篇技术成果论文,展示了两款不同规模的MoE大语言模型——百灵轻量版(Ling-Lite)和百灵增强版(Ling-Plus)。百灵轻量版参数规模为168亿,激活参数27.5亿;百灵增强版基座模型参数规模高达2900亿,激活参数288亿。这两款模型性能均达到行业领先水平。
除了自主研发高性能的大模型外,该论文还提出了一系列创新方法,以提升资源受限环境下AI开发的效率与可及性。实验表明,3000亿参数的MoE大模型可在使用国产GPU的低性能设备上完成高效训练,其性能与完全使用英伟达芯片、同规模的稠密模型及MoE模型相当。
近日,蚂蚁集团Ling团队发表了一篇技术成果论文。论文中介绍了两款不同规模的MoE大语言模型——百灵轻量版(Ling-Lite)和百灵增强版(Ling-Plus)
2025-03-25 16:05:08蚂蚁用国产芯片训练出两款AI大模型据知情人士透露,马云支持的蚂蚁集团正采用中国制半导体来开发训练人工智能模型的技术,此举可将成本降低20%。蚂蚁集团使用了包括阿里巴巴和华为在内的国产芯片,并通过混合专家机器学习方法进行模型训练
2025-03-24 20:37:05曝蚂蚁集团基于中国芯片实现AI突破在DeepSeek极低成本的推动下,开源模型和闭源模型之间的差距显著缩小,掀起了一轮国产AI芯片厂商竞相适配的风潮
2025-02-15 18:37:10DeepSeek训练仍基于英伟达CUDA生态12月8日是支付宝和蚂蚁集团的20岁生日。当天,来自全球各地的部分员工在杭州蚂蚁集团总部相聚,久未公开露面的马云也在晚间现身园区。马云表示,他是为了蚂蚁未来的20年而来
2024-12-09 08:57:00马云现身蚂蚁集团20周年活动现场幻方量化旗下的人工智能公司深度求索(DeepSeek)于2025年1月20日发布了DeepSeek-R1,该模型性能对标OpenAI的o1正式版,引发了全球关注
2025-02-07 12:10:50DeepSeek掀算力革命