中华网 china.com

新闻

英伟达新架构引爆全模态大模型革命 OmniVinci强势开源

小 大

用微信扫描二维码
分享至好友和朋友圈

关键词：
2025-11-07 23:14:12  搜狐网

英伟达推出了全模态大模型OmniVinci，该模型能够精准解析视频和音频，尤其擅长视觉和听觉信号的时序对齐。它拥有90亿参数规模，性能超越同级别甚至更高级别模型，训练数据效率是对手的6倍，大幅降低成本。在视频内容理解、语音转录、机器人导航等场景中，OmniVinci展现出卓越的多模态应用能力。

今年以来，开源大模型战场竞争激烈。中国大模型在全球范围内表现出色，如DeepSeek在代码与数学推理上的惊人表现，以及Qwen家族在多模态和通用能力上的全面发展，它们已成为全球AI从业者的重要参照物。就在人们以为这场基础模型开源浪潮将主要由顶尖互联网巨头和明星创业公司推动时，英伟达也亲自下场加入竞争。

英伟达发布了最强9B视频音频全模态大模型OmniVinci，并宣布开源。该模型在多个主流全模态、音频理解和视频理解榜单上展示了碾压对手的性能。英伟达将其定义为“全模态”，即一个能够同时理解视频、音频、图像和文本的统一模型。尽管参数规模仅为90亿，但其在多项关键的多模态基准测试中展现了极高的性能。

研究表明，声音为视觉任务引入了全新的信息维度，使模型在视频理解方面受益匪浅。从单纯依赖视觉到结合音频进行隐式多模态学习，再到引入全模态数据引擎实现显式融合，模型的表现呈阶梯式跃升。尤其是在采用显式学习策略后，多项指标上都出现了突破性进步。

视频与音频兼具的全模态模型突破了传统VLM的模态限制，能够更充分地理解视频内容，因此具备更广阔的应用场景。例如，它可以总结采访内容，转录成文字，或用于语音指挥机器人导航。

关闭

美防长称美国无意改变台海现状 强调力量平衡

美防长称美国无意改变台海现状2025-12-08 11:40:44

央视曝光智驾神器成夺命陷阱 十几块钱的磁吸环竟成车祸起点

央视曝光智驾神器成夺命陷阱2025-12-08 11:39:27

李亚鹏谈第四个女儿 汶川地震幸存者的坚强成长

李亚鹏谈第四个女儿2025-12-08 11:37:28

阿隆索对弗兰·加西亚染红暴怒 情绪失控引关注

阿隆索对弗兰·加西亚染红暴怒2025-12-08 11:37:18

村民围堵加油站三年，镇政府竟让企业“捐”200万换营业？

企业被围堵镇政府说钱捐得不够2025-12-08 11:28:42

凌辱少女却逍遥法外，驻日美军的特权从何而来 《日美地位协定》庇护伞

凌辱少女却逍遥法外,驻日美军的特权从何而来2025-12-08 11:23:02

哈马斯拒绝对加沙外部托管 坚持自主治理

哈马斯拒绝对加沙外部托管2025-12-08 10:14:17

美国要战略收缩了吗 默认被中国超越的事实

美国要战略收缩了吗2025-12-08 10:53:08

学者：日本自卫队飞机在碰瓷 日方危险抵近引发警告

学者,日本自卫队飞机在碰瓷2025-12-08 10:34:05

警方通报52岁男子持刀伤人致3死 因旧纠纷引发悲剧

警方通报52岁男子持刀伤人致3死2025-12-08 11:30:14

中国为何必须防着日本？

学者：中国为何必须防着日本2025-12-08 11:19:55

东风战机的新动作，让特朗普瞬间清醒 日本安全布局重置

东风战机的新动作,让特朗普瞬间清醒2025-12-08 09:42:05

美防长称：无意“支配或羞辱”中国，无意改变台海现状

美防长称无意支配或羞辱中国2025-12-08 11:31:52

东大航母强势出击？辽宁舰直抵琉球日本紧急出动战机应对！ 中日空中对峙升级

东大航母强势出击,辽宁舰直抵琉球日本紧急出动战机应对2025-12-08 09:42:17

鸠山由纪夫说日本不应介入台湾问题！

鸠山由纪夫说日本不应介入台湾问题2025-12-08 10:49:25

台当局被曝和日本出现军事勾连迹象 痴心妄想！

台当局被曝和日本出现军事勾连迹象2025-12-08 11:31:17

多国人士：日本右翼化正挑战地区和平 引发国际社会警惕

多国人士,日本右翼化正挑战地区和平2025-12-08 11:26:56

特朗普：对泽连斯基“有点失望” 未读最新和平方案

特朗普,对泽连斯基有点失望2025-12-08 11:32:04

高市早苗又生毒计，日本决议在联大高票通过，要求中国自废武功 双重标准暴露野心

高市早苗又生毒计,日本决议在联大高票通过,要求中国自废武功2025-12-08 09:30:12

美国要求日韩菲买武器 加强第一岛链防卫

美国要求日韩菲买武器2025-12-08 11:10:50

国际足联主席道歉！

国际足联主席道歉2025-12-08 11:25:12

流感阳性率近一半如何快检确诊 居家快检服务激增

流感阳性率近一半如何快检确诊2025-12-08 11:24:50

央视曝光智驾神器成夺命陷阱 十几块钱的磁吸环竟成车祸起点

央视曝光智驾神器成夺命陷阱2025-12-08 11:39:27

日本宣布了不承认中国质疑琉球归属 中方展示历史证据反制

日本宣布了不承认中国质疑琉球归属2025-12-08 09:47:02

郑丽文能否找回年轻国民党员有待考验 基层结构变革成关键

郑丽文能否找回年轻国民党员有待考验2025-12-08 11:22:34

养牛场没牛每天倒卖数十车矿石 无证开采乱象揭秘

养牛场没牛每天倒卖数十车矿石2025-12-08 11:20:53

美国一街头8人合力制服鳄鱼！

美国一街头8人合力制服鳄鱼2025-12-08 11:24:28

国民党前主席警告日本别惹事 罕见言辞引全球关注

国民党前主席警告日本别惹事2025-12-08 11:06:51

李亚鹏谈第四个女儿 汶川地震幸存者的坚强成长

李亚鹏谈第四个女儿2025-12-08 11:37:28

流感感染高峰期来了，有哪些不靠谱“偏方”和“谣言”需要破除？

流感感染高峰期来了，有哪些不靠谱“偏方”和“谣言”需要破除？2025-12-08 11:22:52

特朗普长子：特朗普或退出乌和平进程 乌克兰腐败成导火索

特朗普长子,特朗普或退出乌和平进程2025-12-08 11:26:26

美防长称美国无意改变台海现状 强调力量平衡

美防长称美国无意改变台海现状2025-12-08 11:40:44

美学者提推动乌和平进程措施有何意味 绕开俄罗斯的“和平大戏”

美学者提推动乌和平进程措施有何意味2025-12-08 09:31:48

知情人回应老人破坏道路 湖南邵阳一村集资修路遭老人破坏

知情人回应老人破坏道路2025-12-08 11:28:15

日本与中国竞争已感到绝望！

日本与中国竞争已感到绝望2025-12-08 10:46:43

相关新闻

主编邮箱
网上不良信息举报电话：010-56177181
关于中华网 | 广告服务 | 联系我们 | 招聘信息 | 版权声明 | 豁免条款 | 友情链接 | 中华网动态
版权所有 中华网