小米MiMo称与豆包各有千秋音频大模型开源引领新趋势

小大

用微信扫描二维码
分享至好友和朋友圈

关键词：

2025-12-17 11:00:45 CSDN博客

小米MiMo称与豆包各有千秋音频大模型开源引领新趋势！小米正式开源了全球首个具备少样本泛化能力的音频大模型MiMo-Audio-7B-Base。该模型通过上亿小时训练数据和创新架构，在多项基准测试中超越了谷歌Gemini与OpenAI GPT-4o音频模型，标志着音频AI从"专用工具"向"通用智能"跨越。

当前音频AI技术面临三大痛点：传统模型需针对语音识别、环境声分类等任务单独优化，多模态融合能力薄弱，复杂场景下泛化性能急剧下降。据信通院《2025 AI交互技术趋势报告》显示，用户对语音交互的延迟容忍阈值已从2023年的800ms降至500ms，方言识别需求增长370%，而现有系统仅能满足40%的复杂场景需求。小米AI实验室负责人指出，现有系统能"听见"声波，但不会"理解"场景，这就像给机器装了耳朵，却没教它如何解读声音的意义。在此背景下，MiMo-Audio-7B的开源具有里程碑意义，其核心突破在于采用GPT-3式的"规模即能力"范式，通过超大规模预训练实现跨任务泛化。

与此同时，音频市场正迎来爆发式增长。艾媒咨询数据显示，2024年中国长音频市场规模达287亿元，同比增长14.8%；预计2025年将达337亿元。随着生活场景碎片化与数字消费升级，长音频凭借其独特的伴随性和深度沉浸体验，正加速渗透通勤、睡前、车载等高契合度场景。

MiMo-Audio-7B-Base在多个方面实现了技术突破。首先，它具备少样本学习能力，通过上下文学习机制，仅需3-5个示例即可完成新任务适配。例如，在语音转换任务中，模型仅通过3段10秒参考音频，即可实现92.3%的说话人相似度；在环境声分类任务中，单样本情况下准确率达81.7%，超越传统模型微调后性能。其次，该模型采用了1.2B参数Tokenizer+7B参数主体模型的协同架构，通过8层残差矢量量化技术实现25Hz音频token生成。其创新的"补丁编解码"机制，能将4个连续音频token聚合成单个语义补丁，使LLM处理效率提升4倍。此外，MiMo-Audio-7B-Base在22项国际评测中全面刷新SOTA，如语音识别任务词错误率低至5.8%，音乐风格识别F1值达89.6%，环境声分类准确率在ESC-50数据集达92.3%。特别在混合音频场景中，能同时解析"咖啡厅交谈+钢琴伴奏+杯碟碰撞"等多源声音信息，生成结构化场景描述。最后，指令微调版本MiMo-Audio-7B-Instruct引入了"Thinking模式"，在处理复杂指令时会先生成文本思考过程再输出语音，提升了复杂推理能力。

12 全文共 2 页下一页

关闭

小米MiMo称与豆包各有千秋 音频大模型开源引领新趋势

相关新闻

今日热点

频道热点

小米MiMo称与豆包各有千秋音频大模型开源引领新趋势