中华网 china.com

新闻

Meta无限长文本大模型来了：参数仅7B，已开源 高效稳定，超越Transformer(2)

小 大

用微信扫描二维码
分享至好友和朋友圈

关键词：
2024-04-18 12:57:16  搜狐网

Meta无限长文本大模型来了：参数仅7B，已开源 高效稳定，超越Transformer

在与LLAMA2的直接较量中，MEGALODON-7B在同等数据与计算资源条件下，训练困惑度显著低于最先进的Transformer变体。针对长上下文建模能力的评估涵盖了从2M的多种上下文长度到Scrolls中的长上下文QA任务，充分证明了MEGALODON处理无限长度序列的能力。此外，在LRA、ImageNet、Speech Commands、WikiText-103和PG19等中小型基准测试中，MEGALODON在体量与多模态处理方面展现卓越性能。

Meta无限长文本大模型来了：参数仅7B，已开源 高效稳定，超越Transformer

论文详细介绍了MEGALODON的技术创新，包括对MEGA架构中关键组件的回顾及存在问题的探讨。为解决MEGA面临的表达能力受限、架构差异及无法大规模预训练等问题，研究者创新提出CEMA，将多维阻尼EMA扩展至复数域；引入时间步归一化，通过计算累积均值与方差，将组归一化扩展至自回归情况；定制归一化注意力机制以提升稳定性；并设计具有Two-hop残差的预范数结构，有效应对模型规模扩大带来的预归一化不稳定问题。

Meta无限长文本大模型来了：参数仅7B，已开源 高效稳定，超越Transformer

实验结果显示，MEGALODON在长上下文序列建模的可扩展性与效率上表现出色。在相同训练token下，MEGALODON-7B的负对数似然（NLL）优于LLAMA2-7B，显示出更高的数据效率。在不同上下文长度下的WPS（word/token per second）对比中，MEGALODON-7B在处理长上下文时速度明显快于LLAMA2-7B，印证了其在长上下文预训练中的计算效率优势。

关闭

住户水表十天走500吨 多次反馈无果，原因竟然这样

住户水表十天走500吨 多次反馈无果2024-05-01 00:24:21

德国小伙开着大众老爷车环游世界 网友：这车车也太可爱了

德国小伙开着大众老爷车环游世界2024-05-01 00:18:01

醉酒男在窗外做危险动作 被消防救下时还不断挣扎反抗

醉酒男在窗外做危险动作被消防救下2024-05-01 00:09:51

红包雨"来了，五大行集体出手：分红盛宴回馈投资者

“红包雨”来了，五大行集体出手2024-04-30 21:34:23

多个部门认为以方不可靠，三名官员通过辞职表态度，拜登政府对以政策愈发承压

多个部门认为以方不可靠，三名官员通过辞职表态度，拜登政府对以政策愈发承压2024-04-29 09:36:08

福建舰再“现身”，这一细节释放重要信号！

福建舰再“现身”，这一细节释放重要信号！2024-04-30 09:51:30

福建舰要海试了？未来航母上是否有新舰载机？专家解读

福建舰要海试了？未来航母上是否有新舰载机？专家解读2024-04-29 09:42:04

以军动用“神秘导弹”，伊朗防空雷达被袭疑云的背后

以军动用“神秘导弹”，伊朗防空雷达被袭疑云的背后2024-04-30 09:07:00

宝马董事长对北京车展的活力感到赞叹 说中国发生的事正领先于世界

宝马董事长说中国发生的事正领先于世界2024-04-30 22:36:47

胡塞武装击落“死神”透露哪些信息？中国军事专家解读

胡塞武装击落“死神”透露哪些信息？中国军事专家解读2024-04-29 09:37:27

醉酒男在窗外做危险动作 被消防救下时还不断挣扎反抗

醉酒男在窗外做危险动作被消防救下2024-05-01 00:09:51

波斯之盾坚固吗？解析伊朗防空导弹实力

波斯之盾坚固吗？解析伊朗防空导弹实力2024-04-30 09:08:57

细节曝光！“五星红旗与金门岛同框”

细节曝光！“五星红旗与金门岛同框”2024-04-30 09:59:33

呼吁实现“战略自主”，马克龙称欧洲永远不会是美国的附庸

呼吁实现“战略自主”，马克龙称欧洲永远不会是美国的附庸2024-04-29 09:39:22

韩网评IVE国风争议被骂上热搜 不是借鉴抄袭而是明抢了？

韩网评IVE国风争议2024-04-30 23:27:05

0.9元团购零食重量不符获赔500元 较真消费者维权胜利

09元团购零食重量不符获赔500元2024-04-30 21:41:04

校方回应男子开超市两天被迫关门 系业态调整未报备所致

校方回应男子开超市两天被迫关门2024-04-30 21:40:45

德国小伙开着大众老爷车环游世界 网友：这车车也太可爱了

德国小伙开着大众老爷车环游世界2024-05-01 00:18:01

政治家族，美式民主的金钱与名声游戏

政治家族，美式民主的金钱与名声游戏2024-04-30 10:06:55

以总理：无论停火谈判如何，都将进攻拉法！拉法军事行动最终计划已获批！欧委会主席：完全不可接受

以总理：进攻拉法无关停火协议2024-04-30 21:37:30

大麻合法化后的泰国饮食里也会用，五一出境游，这样的水和食物不要吃

大麻合法化后的泰国2024-04-30 23:36:10

塑料薄膜缠上输电线路 无人机高空喷火清除

塑料缠上输电线路 无人机高空清除2024-04-30 22:20:47

买下81架苏联旧飞机！美国准备做什么？

买下81架苏联旧飞机！美国准备做什么？2024-04-30 09:15:21

以色列极右翼部长施压内塔尼亚胡：不进攻拉法，政府就会被推翻

以色列极右翼部长施压内塔尼亚胡：不进攻拉法，政府就会被推翻2024-04-30 10:04:25

俄士兵遇乌无人机奋力求饶仍被炸 战场震撼一幕

俄士兵遇乌无人机奋力求饶仍被炸2024-04-30 21:37:23

这是以色列现在的最怕

这是以色列现在的最怕2024-04-30 09:46:48

乌军“匆忙”撤退！“泽连斯基希望美国再资助10年”

乌军“匆忙”撤退！“泽连斯基希望美国再资助10年”2024-04-30 09:55:27

乌军从前线三地“匆忙”撤退，乌武装部队总司令：形势正发生“动态变化”

乌军从前线三地“匆忙”撤退，乌武装部队总司令：形势正发生“动态变化”2024-04-30 10:07:50

杨幂现身北京三里屯，绝美松弛感穿搭，路人视角生图

杨幂现身北京三里屯2024-04-30 22:48:53

百岁老人到派出所补办身份证 民警全程耐心沟通引导

百岁老人到派出所补办身份证2024-04-30 23:04:45

问界M7事故车搭载福瑞泰克智驾方案 安全性能引热议

问界M7事故车搭载福瑞泰克智驾方案2024-04-30 21:37:12

住户水表十天走500吨 多次反馈无果，原因竟然这样

住户水表十天走500吨 多次反馈无果2024-05-01 00:24:21

和美军联演，这是他们能派出的最大军舰……

和美军联演，这是他们能派出的最大军舰……2024-04-29 09:42:36

中国足协眼馋印尼欲重启归化？想成功这点必须做到！ 百家观赛团聚焦归化新策

中国足协眼馋印尼欲重启归化？想成功这点必须做到！2024-04-30 21:34:03

众院补选三战全败，“政权更迭”呼声响起，岸田文雄输掉“命运之战”

众院补选三战全败，“政权更迭”呼声响起，岸田文雄输掉“命运之战”2024-04-29 09:37:58

相关新闻

主编邮箱
网上不良信息举报电话：010-56177181
关于中华网 | 广告服务 | 联系我们 | 招聘信息 | 版权声明 | 豁免条款 | 友情链接 | 中华网动态
版权所有 中华网