中华网 china.com

新闻

阿里发通用多模态大模型mPLUG-Owl3 4秒看完2小时电影

关键词:
2024-08-19 17:47:52  搜狐网

阿里mPLUG团队近期发布了一项新成果——通用多模态大模型mPLUG-Owl3,这款模型专为理解复杂多图和长视频内容设计。mPLUG-Owl3在提升推理效率方面实现了显著突破,它能将First Token Latency降低6倍,并在单张A100显卡上处理的图像数量提升至400张,这意味着一部2小时的电影仅需4秒即可完成分析。重要的是,效率的飞跃并未牺牲模型的准确性,mPLUG-Owl3在多模态场景的多个基准测试中均达到了最佳水平。

阿里发通用多模态大模型mPLUG-Owl3

团队展示了mPLUG-Owl3的多样应用,包括多模态检索增强、多图推理及长视频理解。在多模态检索中,模型不仅能够准确回应查询,还能明确指出其决策依据;多图推理功能则使模型能够理解不同图像间的关联,进行逻辑推理;而对于长视频,mPLUG-Owl3能够在短时间内解析并回答关于视频细节的问题,解决了传统模型处理超长视频的难题。

阿里发通用多模态大模型mPLUG-Owl3 4秒看完2小时电影

mPLUG-Owl3之所以能高效融合多模态信息,得益于其创新的Hyper Attention模块。这一设计允许模型在不增加语言模型序列负担的情况下,直接与视觉特征交互,减少了计算成本和内存占用。通过精心设计的Cross-Attention操作,模型能够精准提取并利用视觉信息,同时保持了对文本的高效处理能力。此外,团队还引入了多模态交错的旋转位置编码MI-Rope,帮助模型更好地理解视觉元素在原始文本中的上下文关系,进一步优化了多模态融合效果。

阿里发通用多模态大模型mPLUG-Owl3 4秒看完2小时电影

实验结果显示,mPLUG-Owl3在广泛的多模态基准测试中取得了领先成绩,无论是在单图、多图还是长视频理解任务上,都展现出了超越以往模型的能力。特别是在处理长视觉序列时,即使面对大量无关图像的干扰,mPLUG-Owl3依然能保持较高准确率,体现了其在复杂场景下的鲁棒性。

关闭

郑钦文:为中国拿了金牌我很骄傲 但是时候忘记它 重新开始征程了 美网目标新高

郑钦文:为中国拿了金牌我很骄傲 但是时候忘记它 重新开始征程了2024-08-19 17:47:21

张昊唯称被一个团伙盯上 疑似遭遇勒索危机

张昊唯称被一个团伙盯上2024-08-19 17:46:09

特朗普讽林郁婷变性人 台名嘴发声质问台当局是否敢回应

特朗普讽林郁婷变性人 台名嘴发声2024-08-19 17:44:56

印度医学会呼吁医生举行全国大罢工 紧急救护可能暂停

印度医学会呼吁医生举行全国大罢工2024-08-19 17:15:51

郑钦文:为中国拿了金牌我很骄傲 但是时候忘记它 重新开始征程了 美网目标新高

郑钦文:为中国拿了金牌我很骄傲 但是时候忘记它 重新开始征程了2024-08-19 17:47:21

乌军突袭打乱了俄乌秘密谈判计划?俄方回应

乌军突袭打乱了俄乌秘密谈判计划?俄方回应2024-08-19 09:56:16

女子乘电梯坠亡 电梯故障如何自救 关键时刻保命指南

女子乘电梯坠亡 电梯故障如何自救2024-08-19 17:17:40

爆发!中国资产全线上涨,市场信心显著提升!

爆发!中国资产全线上涨2024-08-19 17:38:40

普京突然出国了

普京突然出国了2024-08-19 09:25:17

俄罗斯和乌克兰,都宣告重大胜利

俄罗斯和乌克兰,都宣告重大胜利2024-08-19 09:22:28

姜萍数学竞赛决赛排第八?家属辟谣:成绩尚未公布!

姜萍数学竞赛决赛排第八?家属辟谣2024-08-19 17:43:37

被指“参与破坏北溪管道”,波兰总理回应

被指“参与破坏北溪管道”,波兰总理回应2024-08-19 10:01:54

美官员:“乌方此举绝对让俄罗斯人惊讶”

美官员:“乌方此举绝对让俄罗斯人惊讶”2024-08-19 09:43:48

俄军部署苏-30SM2对付F-16?

俄军部署苏-30SM2对付F-16?2024-08-19 10:12:53

张昊唯称被一个团伙盯上 疑似遭遇勒索危机

张昊唯称被一个团伙盯上2024-08-19 17:46:09

十天了,为何俄军还未在库尔斯克转入反攻?

十天了,为何俄军还未在库尔斯克转入反攻?2024-08-19 09:45:26

手头紧!和韩国合作的KF-21项目,印尼预算砍了6成多

手头紧!和韩国合作的KF-21项目,印尼预算砍了6成多2024-08-19 09:51:58

台湾海峡管控能力,正在发生变化

台湾海峡管控能力,正在发生变化2024-08-19 09:33:43

卢卡申科回应北约向乌派兵后果 引爆三战导火索?

卢卡申科回应北约向乌派兵后果2024-08-19 17:16:56

美媒爆:乌克兰突袭打断俄乌秘密谈判

美媒爆:乌克兰突袭打断俄乌秘密谈判2024-08-19 09:36:31

美海军重启两栖战舰采购,“圣安东尼奥”级生产线保住了

美海军重启两栖战舰采购,“圣安东尼奥”级生产线保住了2024-08-19 09:48:38

女子称花3万整容 眼球眼角被缝一起 美容变“伤容”

女子称花3万整容 眼球眼角被缝一起2024-08-19 17:15:32

刊文账号回应外地女孩死在出租公寓:文中所述为真实事件

刊文账号回应外地女孩死在出租公寓2024-08-19 17:36:45

大桥被炸断牵动库尔斯克战局!乌俄在该地交火日益白热化

大桥被炸断牵动库尔斯克战局!乌俄在该地交火日益白热化2024-08-19 10:08:30

皇马1-1, 看清1.8亿巨星! 4射0中抢球权, 跑位混乱, 还敢比肩C罗

皇马1-1, 看清1.8亿巨星! 4射0中抢球权, 跑位混乱, 还敢比肩C罗2024-08-19 17:40:38

国足28人名单即将公布!上海2新人入选 胡荷韬汪海健在列

国足28人名单即将公布!上海2新人入选2024-08-19 17:42:15

宁夏灵武一化工车间爆炸2人失联 消防已抵达现场开展救援

宁夏灵武一化工车间爆炸2人失联2024-08-19 17:21:48

网易云音乐开发者删库跑路?回应来了:假的,稍后将披露更详细信息!

网易云音乐开发者删库跑路?回应来了2024-08-19 17:19:22

特朗普讽林郁婷变性人 台名嘴发声质问台当局是否敢回应

特朗普讽林郁婷变性人 台名嘴发声2024-08-19 17:44:56

接连“断桥”之后,乌军是攻?是守?

接连“断桥”之后,乌军是攻?是守?2024-08-19 09:27:02

俄乌两大核电站安全引担忧!国际原子能机构总干事:再次呼吁各方保持最大限度克制

俄乌两大核电站安全引担忧!国际原子能机构总干事:再次呼吁各方保持最大限度克制2024-08-19 10:06:28

五角大楼“披萨指数”还在预测战争吗?

五角大楼“披萨指数”还在预测战争吗?2024-08-19 09:30:11

“会谈富有建设性”?冲突双方:仍存分歧!

“会谈富有建设性”?冲突双方:仍存分歧!2024-08-19 10:15:10

相关新闻