中华网 china.com

新闻

阿里发通用多模态大模型mPLUG-Owl3 4秒看完2小时电影

小 大

用微信扫描二维码
分享至好友和朋友圈

关键词：
2024-08-19 17:47:52  搜狐网

阿里mPLUG团队近期发布了一项新成果——通用多模态大模型mPLUG-Owl3，这款模型专为理解复杂多图和长视频内容设计。mPLUG-Owl3在提升推理效率方面实现了显著突破，它能将First Token Latency降低6倍，并在单张A100显卡上处理的图像数量提升至400张，这意味着一部2小时的电影仅需4秒即可完成分析。重要的是，效率的飞跃并未牺牲模型的准确性，mPLUG-Owl3在多模态场景的多个基准测试中均达到了最佳水平。

团队展示了mPLUG-Owl3的多样应用，包括多模态检索增强、多图推理及长视频理解。在多模态检索中，模型不仅能够准确回应查询，还能明确指出其决策依据；多图推理功能则使模型能够理解不同图像间的关联，进行逻辑推理；而对于长视频，mPLUG-Owl3能够在短时间内解析并回答关于视频细节的问题，解决了传统模型处理超长视频的难题。

mPLUG-Owl3之所以能高效融合多模态信息，得益于其创新的Hyper Attention模块。这一设计允许模型在不增加语言模型序列负担的情况下，直接与视觉特征交互，减少了计算成本和内存占用。通过精心设计的Cross-Attention操作，模型能够精准提取并利用视觉信息，同时保持了对文本的高效处理能力。此外，团队还引入了多模态交错的旋转位置编码MI-Rope，帮助模型更好地理解视觉元素在原始文本中的上下文关系，进一步优化了多模态融合效果。

实验结果显示，mPLUG-Owl3在广泛的多模态基准测试中取得了领先成绩，无论是在单图、多图还是长视频理解任务上，都展现出了超越以往模型的能力。特别是在处理长视觉序列时，即使面对大量无关图像的干扰，mPLUG-Owl3依然能保持较高准确率，体现了其在复杂场景下的鲁棒性。

对于那些希望深入了解mPLUG-Owl3技术细节和实验结果的读者，可以通过论文和开源代码进行探索，团队还提供了在线演示和预训练模型的访问链接，方便研究人员和开发者实际体验这一模型的性能。

(责任编辑：张佳鑫 0764)
关闭

国足为何总选不对教练 里皮之外无正确选择？

国足为何总选不对教练2024-09-11 14:00:05

男子称理想自动泊车失误变上路 频出故障引担忧

男子称理想自动泊车失误变上路2024-09-11 13:59:29

警方对海银财富涉非法集资犯罪立案

警方对海银财富涉非法集资犯罪立案2024-09-11 13:59:16

供乌武器收益大部分留在美国 军工复合体最大限度获利！

供乌武器收益大部分留在美国 军工复合体最大限度获利！2024-09-09 10:03:56

外媒：以色列称加沙南部被袭现场有哈马斯成员，哈马斯迅速否认

外媒：以色列称加沙南部被袭现场有哈马斯成员，哈马斯迅速否认2024-09-10 10:10:26

伊朗200枚弹道导弹抵达俄罗斯？伊朗否认

伊朗200枚弹道导弹抵达俄罗斯？伊朗否认2024-09-10 09:31:54

大厂至通州车程将缩短半小时 潮白河大桥即将通车

大厂至通州车程将缩短半小时2024-09-11 13:54:58

赵薇结束进藏之旅现身机场 独行之旅，心灵蜕变

赵薇结束进藏之旅现身机场2024-09-11 13:57:02

美军舰维修到底有多难？美国海军全球“求人”帮修船

美军舰维修到底有多难？美国海军全球“求人”帮修船2024-09-09 10:01:29

台湾一“震慑武器”翻车：“今年年底能出去，都已经是奇迹了”

台湾一“震慑武器”翻车：“今年年底能出去，都已经是奇迹了”2024-09-10 09:28:33

哈雷尔已与阿德莱德36人签约 短期加盟补强内线

哈雷尔已与阿德莱德36人签约2024-09-11 13:54:04

美媒：装备欠缺人数不足，乌克兰军队正面临士气低落和临阵脱逃的困境

美媒：装备欠缺人数不足，乌克兰军队正面临士气低落和临阵脱逃的困境2024-09-09 10:35:08

美共和党就阿富汗撤军猛批拜登政府，称后者应为“灾难性结局”负责

美共和党就阿富汗撤军猛批拜登政府，称后者应为“灾难性结局”负责2024-09-10 09:59:34

外媒：美国众议院共和党人发布报告，严厉批评拜登政府在阿富汗撤军中失败表现

外媒：美国众议院共和党人发布报告，严厉批评拜登政府在阿富汗撤军中失败表现2024-09-09 10:34:40

警方对海银财富涉非法集资犯罪立案

警方对海银财富涉非法集资犯罪立案2024-09-11 13:59:16

外媒：约旦河西岸与约旦交界的一陆路口岸发生枪击，3名以色列人死亡，内塔尼亚胡发声

外媒：约旦河西岸与约旦交界的一陆路口岸发生枪击，3名以色列人死亡，内塔尼亚胡发声2024-09-09 10:38:01

帕萨特Pro演示AI语音助手翻车 智能化升级遇挑战

帕萨特Pro演示AI语音助手翻车2024-09-11 13:58:39

日本男子新加坡性侵学生被追加鞭刑

日本男子新加坡性侵学生被追加鞭刑2024-09-11 13:53:47

吴彦祖舒淇冯德伦26年前后对比照 颜值保养密码揭秘

吴彦祖舒淇冯德伦26年前后对比照2024-09-11 13:54:42

美航母舰长谈红海战斗：很艰难 但士气是最重要的

美航母舰长谈红海战斗：很艰难 但士气是最重要的2024-09-10 09:32:25

军事预算缺口大，前线人员装备少，泽连斯基将赴美见拜登争取援助

军事预算缺口大，前线人员装备少，泽连斯基将赴美见拜登争取援助2024-09-10 09:55:19

沙特球迷赛后主动清理垃圾 文明行为获赞

沙特球迷赛后主动清理垃圾2024-09-11 13:48:37

伊拉克防长：以美国为首联军将在两年内撤出，“美方提议三年被否”

伊拉克防长：以美国为首联军将在两年内撤出，“美方提议三年被否”2024-09-10 09:41:25

女干部主动看管“百万金库”受贿77万 贪欲不归路

女干部主动看管“百万金库”受贿77万2024-09-11 13:58:12

深化两军战略协作水平，中俄9月举行联合海空演习

深化两军战略协作水平，中俄9月举行联合海空演习2024-09-10 09:51:59

男子称理想自动泊车失误变上路 频出故障引担忧

男子称理想自动泊车失误变上路2024-09-11 13:59:29

国足是C组唯一0分队伍 陷入积分榜末位困境

国足是C组唯一0分队伍2024-09-11 13:56:00

阿拉伯国家外长呼吁以色列撤出加沙 加沙人道危机加剧

阿拉伯国家外长呼吁以色列撤出加沙2024-09-11 13:47:52

现在，特朗普自曝非常不开心

现在，特朗普自曝非常不开心2024-09-10 09:26:09

家长称教师节送花老师不敢收 清风正气，拒收礼成为新风尚

家长称教师节送花老师不敢收2024-09-11 13:48:09

废除老牌护卫舰队，日本海上自卫队大整编用意何为？

废除老牌护卫舰队，日本海上自卫队大整编用意何为？2024-09-09 10:40:54

理想自动泊车失误后开到马路中间 新势力品质再遭质疑

理想自动泊车失误后开到马路中间2024-09-11 13:55:13

约旦边境发生枪杀以色列平民事件，3人当场死亡！内塔尼亚胡发声

约旦边境发生枪杀以色列平民事件，3人当场死亡！内塔尼亚胡发声2024-09-10 09:58:18

曝伊万若下课郑智有望临时“救火” 国足惨败引哗然

曝伊万若下课郑智有望临时“救火”2024-09-11 13:57:54

国足为何总选不对教练 里皮之外无正确选择？

国足为何总选不对教练2024-09-11 14:00:05

相关新闻

主编邮箱
网上不良信息举报电话：010-56177181
关于中华网 | 广告服务 | 联系我们 | 招聘信息 | 版权声明 | 豁免条款 | 友情链接 | 中华网动态
版权所有 中华网