中华网 china.com

新闻

Meta无限长文本大模型来了：参数仅7B，已开源 高效稳定，超越Transformer

小 大

用微信扫描二维码
分享至好友和朋友圈

关键词：
2024-04-18 12:57:16  搜狐网

谷歌和Meta相继在无限长上下文建模领域展开角逐。Transformer模型因二次复杂度及对长序列处理的局限性，尽管已有线性注意力和状态空间模型等次二次解决方案，但其预训练效率和下游任务准确性仍不尽人意。谷歌近期推出的Infini-Transformer通过创新方法，使大型语言模型能够处理无限长输入，且无需增加内存与计算需求，引发业界关注。

Meta无限长文本大模型来了：参数仅7B，已开源

紧随其后，Meta携手南加州大学、CMU、UCSD等研发团队，推出了名为MEGALODON的神经架构，同样致力于无限长文本的高效序列建模，上下文长度无任何限制。MEGALODON在MEGA架构基础上，引入了复数指数移动平均（CEMA）、时间步归一化层、归一化注意力机制及具备双特征的预归一化残差配置等技术组件，旨在提升模型能力和稳定性。

Meta无限长文本大模型来了：参数仅7B，已开源 高效稳定，超越Transformer

在与LLAMA2的对比试验中，拥有70亿参数、经过2万亿训练token的MEGALODON展现出超越Transformer的效率优势。其训练损失为1.70，介于LLAMA2-7B（1.75）与13B（1.67）之间。一系列基准测试进一步证实了MEGALODON在不同任务与模式中相对于Transformers的显著改进。

Meta无限长文本大模型来了：参数仅7B，已开源 高效稳定，超越Transformer

MEGALODON的核心改进在于对MEGA架构的优化，利用门控注意力机制与经典指数移动平均法。为增强大规模长上下文预训练的能力与效率，研究者引入了CEMA，将MEGA中的多维阻尼EMA扩展至复数域；并设计了时间步归一化层，将组归一化应用于自回归序列建模，实现沿顺序维度的归一化。此外，通过预归一化与两跳残差配置调整，以及将输入序列分块为固定块，确保了模型训练与推理过程中的线性计算与内存复杂性。

1234...全文共 8 页下一页
关闭

住户水表十天走500吨 多次反馈无果，原因竟然这样

住户水表十天走500吨 多次反馈无果2024-05-01 00:24:21

德国小伙开着大众老爷车环游世界 网友：这车车也太可爱了

德国小伙开着大众老爷车环游世界2024-05-01 00:18:01

醉酒男在窗外做危险动作 被消防救下时还不断挣扎反抗

醉酒男在窗外做危险动作被消防救下2024-05-01 00:09:51

红包雨"来了，五大行集体出手：分红盛宴回馈投资者

“红包雨”来了，五大行集体出手2024-04-30 21:34:23

多个部门认为以方不可靠，三名官员通过辞职表态度，拜登政府对以政策愈发承压

多个部门认为以方不可靠，三名官员通过辞职表态度，拜登政府对以政策愈发承压2024-04-29 09:36:08

福建舰再“现身”，这一细节释放重要信号！

福建舰再“现身”，这一细节释放重要信号！2024-04-30 09:51:30

福建舰要海试了？未来航母上是否有新舰载机？专家解读

福建舰要海试了？未来航母上是否有新舰载机？专家解读2024-04-29 09:42:04

以军动用“神秘导弹”，伊朗防空雷达被袭疑云的背后

以军动用“神秘导弹”，伊朗防空雷达被袭疑云的背后2024-04-30 09:07:00

宝马董事长对北京车展的活力感到赞叹 说中国发生的事正领先于世界

宝马董事长说中国发生的事正领先于世界2024-04-30 22:36:47

胡塞武装击落“死神”透露哪些信息？中国军事专家解读

胡塞武装击落“死神”透露哪些信息？中国军事专家解读2024-04-29 09:37:27

醉酒男在窗外做危险动作 被消防救下时还不断挣扎反抗

醉酒男在窗外做危险动作被消防救下2024-05-01 00:09:51

波斯之盾坚固吗？解析伊朗防空导弹实力

波斯之盾坚固吗？解析伊朗防空导弹实力2024-04-30 09:08:57

细节曝光！“五星红旗与金门岛同框”

细节曝光！“五星红旗与金门岛同框”2024-04-30 09:59:33

呼吁实现“战略自主”，马克龙称欧洲永远不会是美国的附庸

呼吁实现“战略自主”，马克龙称欧洲永远不会是美国的附庸2024-04-29 09:39:22

韩网评IVE国风争议被骂上热搜 不是借鉴抄袭而是明抢了？

韩网评IVE国风争议2024-04-30 23:27:05

0.9元团购零食重量不符获赔500元 较真消费者维权胜利

09元团购零食重量不符获赔500元2024-04-30 21:41:04

校方回应男子开超市两天被迫关门 系业态调整未报备所致

校方回应男子开超市两天被迫关门2024-04-30 21:40:45

德国小伙开着大众老爷车环游世界 网友：这车车也太可爱了

德国小伙开着大众老爷车环游世界2024-05-01 00:18:01

政治家族，美式民主的金钱与名声游戏

政治家族，美式民主的金钱与名声游戏2024-04-30 10:06:55

以总理：无论停火谈判如何，都将进攻拉法！拉法军事行动最终计划已获批！欧委会主席：完全不可接受

以总理：进攻拉法无关停火协议2024-04-30 21:37:30

大麻合法化后的泰国饮食里也会用，五一出境游，这样的水和食物不要吃

大麻合法化后的泰国2024-04-30 23:36:10

塑料薄膜缠上输电线路 无人机高空喷火清除

塑料缠上输电线路 无人机高空清除2024-04-30 22:20:47

买下81架苏联旧飞机！美国准备做什么？

买下81架苏联旧飞机！美国准备做什么？2024-04-30 09:15:21

以色列极右翼部长施压内塔尼亚胡：不进攻拉法，政府就会被推翻

以色列极右翼部长施压内塔尼亚胡：不进攻拉法，政府就会被推翻2024-04-30 10:04:25

俄士兵遇乌无人机奋力求饶仍被炸 战场震撼一幕

俄士兵遇乌无人机奋力求饶仍被炸2024-04-30 21:37:23

这是以色列现在的最怕

这是以色列现在的最怕2024-04-30 09:46:48

乌军“匆忙”撤退！“泽连斯基希望美国再资助10年”

乌军“匆忙”撤退！“泽连斯基希望美国再资助10年”2024-04-30 09:55:27

乌军从前线三地“匆忙”撤退，乌武装部队总司令：形势正发生“动态变化”

乌军从前线三地“匆忙”撤退，乌武装部队总司令：形势正发生“动态变化”2024-04-30 10:07:50

杨幂现身北京三里屯，绝美松弛感穿搭，路人视角生图

杨幂现身北京三里屯2024-04-30 22:48:53

百岁老人到派出所补办身份证 民警全程耐心沟通引导

百岁老人到派出所补办身份证2024-04-30 23:04:45

问界M7事故车搭载福瑞泰克智驾方案 安全性能引热议

问界M7事故车搭载福瑞泰克智驾方案2024-04-30 21:37:12

住户水表十天走500吨 多次反馈无果，原因竟然这样

住户水表十天走500吨 多次反馈无果2024-05-01 00:24:21

和美军联演，这是他们能派出的最大军舰……

和美军联演，这是他们能派出的最大军舰……2024-04-29 09:42:36

中国足协眼馋印尼欲重启归化？想成功这点必须做到！ 百家观赛团聚焦归化新策

中国足协眼馋印尼欲重启归化？想成功这点必须做到！2024-04-30 21:34:03

众院补选三战全败，“政权更迭”呼声响起，岸田文雄输掉“命运之战”

众院补选三战全败，“政权更迭”呼声响起，岸田文雄输掉“命运之战”2024-04-29 09:37:58

相关新闻

主编邮箱
网上不良信息举报电话：010-56177181
关于中华网 | 广告服务 | 联系我们 | 招聘信息 | 版权声明 | 豁免条款 | 友情链接 | 中华网动态
版权所有 中华网