中华网 china.com

新闻

英伟达新研究:上下文长度虚标严重,32K性能合格的都不多

关键词:
2024-06-03 21:09:27  网易

英伟达新研究:上下文长度虚标严重,32K性能合格的都不多

英伟达最近的研究揭示了长上下文大模型存在虚标现象,涉及包括GPT-4在内的10个知名模型。这些模型宣称能处理128K乃至1M的上下文长度,但在英伟达设计的新指标“有效上下文”测试下,能维持32K有效长度的模型已显稀缺。这一新基准名为RULER,它通过检索、多跳追踪、聚合及问答四类共13项任务,评估模型处理长文本的真实能力,确保关注点在于模型的理解而非单纯的信息回忆。英伟达新研究:上下文长度虚标严重,32K性能合格的都不多。

RULER基准的独特之处在于减少了对模型预存“参数化知识”的依赖,增强了评测的公平性和全面性。例如,它不仅升级了传统的单一检索任务,还引入了多针检索、多值检索、多查询检索等复杂情景,以及模拟指代消解的变量追踪、词汇提取和抗干扰的长序列问答等挑战,全方位检验模型的长文本处理实力。

实验涵盖了从6B至8x7B参数规模不等的10个模型,包括GPT-4及其他开源模型如Command-R、Yi-34B等,最大上下文长度跨度从32K至1M。在RULER的严格测试下,尽管多数模型在其标称的长上下文范围内表现出色,但深入分析发现,仅Mixtral模型能在其声明的长度上持续超越基线性能。GPT-4在4K长度下展现出最佳性能,且在扩展至128K时性能下降最少。开源模型中,Command-R、Yi-34B及Mixtral因采用较大RoPE基频和更多参数,表现突出。

进一步的研究还探索了输入长度、任务复杂度对模型表现的影响,以及模型大小、架构对长上下文处理能力的作用。结果显示,增大训练上下文通常提升性能,但效果不恒定;模型规模扩大显著有利于长文本理解;非Transformer架构模型在此类任务上表现不及基于Transformer的模型。

对于那些渴望深入了解模型长文本处理能力局限及优化方向的研究者而言,英伟达的这项研究无疑提供了宝贵的洞见和实证基础。

英伟达新研究:上下文长度虚标严重,32K性能合格的都不多。

(责任编辑:卢其龙 CN070)
关闭

曝森林狼与克里斯·芬奇达成续约 四年长约锁定未来

曝森林狼与克里斯·芬奇达成续约2024-06-25 09:13:05

兰州住房公积金缴存基数和比例调整 7月1日起执行新标准

兰州住房公积金缴存基数和比例调整2024-06-25 09:12:50

莫德里奇成欧洲杯最年长进球者 38岁创历史纪录

莫德里奇成欧洲杯最年长进球者2024-06-25 09:12:25

秀肌肉?美军“罗斯福”号航母抵韩,将参加韩美日“自由之刃”军演

秀肌肉?美军“罗斯福”号航母抵韩,将参加韩美日“自由之刃”军演2024-06-24 10:00:41

针对中国意图明显,效果遭到各界质疑!美军加速组建关岛“濒海作战团”

针对中国意图明显,效果遭到各界质疑!美军加速组建关岛“濒海作战团”2024-06-24 10:05:39

白宫担忧以总理访美:不知道他会说些什么

白宫担忧以总理访美:不知道他会说些什么2024-06-24 09:49:20

7天40家银行被吸收合并或解散 农村中小银行加速洗牌

7天40家银行被吸收合并或解散2024-06-25 09:07:29

瞄准中国,美军加速!

瞄准中国,美军加速!2024-06-24 09:39:14

普京称没人会军援俄能自给自足 强化国防工业应对挑战

普京称没人会军援俄能自给自足2024-06-25 09:00:50

兰州住房公积金缴存基数和比例调整 7月1日起执行新标准

兰州住房公积金缴存基数和比例调整2024-06-25 09:12:50

当美国海军“最可怕的噩梦”真的来了……

当美国海军“最可怕的噩梦”真的来了……2024-06-24 10:08:04

胡塞武装“袭击疑云”下,美军“艾森豪威尔”号航母撤离红海!

胡塞武装“袭击疑云”下,美军“艾森豪威尔”号航母撤离红海!2024-06-24 10:01:29

造价3亿多美元扛不住4级风 美军码头为何这么脆

造价3亿多美元扛不住4级风 美军码头为何这么脆2024-06-24 10:09:10

普京:没人会援俄武器,我们能自给自足

普京:没人会援俄武器,我们能自给自足2024-06-24 09:47:19

刘亦菲:我不是一个爱美的女演员

刘亦菲:我不是一个爱美的女演员2024-06-25 09:00:02

曝森林狼与克里斯·芬奇达成续约 四年长约锁定未来

曝森林狼与克里斯·芬奇达成续约2024-06-25 09:13:05

国乒全体缺席!突尼斯赛6月25日开打,张本兄妹、早田希娜参加

国乒全体缺席!突尼斯赛6月25日开打,张本兄妹、早田希娜参加2024-06-25 09:00:16

以美就武器交付问题陷入争吵,以防长访美寻求“解冻重型炸弹”

以美就武器交付问题陷入争吵,以防长访美寻求“解冻重型炸弹”2024-06-24 09:58:32

以色列前总理:我们在这几个月中失去了世界的支持

以色列前总理:我们在这几个月中失去了世界的支持2024-06-24 09:52:08

曝乔治即将决定去留!名记解析三大选择 76人尼克斯火箭成潜在下家

曝乔治即将决定去留!名记解析三大选择 76人尼克斯火箭成潜在下家2024-06-25 08:59:30

欲升级扩充核武库 美国引全球走向“最危险的时刻”

欲升级扩充核武库 美国引全球走向“最危险的时刻”2024-06-24 10:07:28

湖南考生如何了解自己全省排位情况 一站式指南出炉

湖南考生如何了解自己全省排位情况2024-06-25 09:00:38

莫德里奇成欧洲杯最年长进球者 38岁创历史纪录

莫德里奇成欧洲杯最年长进球者2024-06-25 09:12:25

警惕!菲总统最新言论,话里有话

警惕!菲总统最新言论,话里有话2024-06-24 09:41:41

裸辞后的第一件事学会给自己交社保 自主保障攻略

裸辞后的第一件事学会给自己交社保2024-06-25 09:11:59

俄对乌能源设施发动集群打击!泽连斯基:去年冬季以来,俄已摧毁乌一半发电能力

俄对乌能源设施发动集群打击!泽连斯基:去年冬季以来,俄已摧毁乌一半发电能力2024-06-24 10:06:15

发现导师朋友圈只屏蔽了我 背后的故事与应对

发现导师朋友圈只屏蔽了我2024-06-25 09:11:09

全面战争?美国向以色列保证

全面战争?美国向以色列保证2024-06-24 09:38:16

小麦越涨越来劲!要起飞了?今日小麦报价 多地面粉企业大幅上调

小麦越涨越来劲!要起飞了?今日小麦报价2024-06-25 08:59:40

新娘将新郎去世父亲画进合影 爱跨越生死的见证

新娘将新郎去世父亲画进合影2024-06-25 09:07:10

起火电池厂员工工资为韩国最低时薪 悲剧背后的廉价劳动力

起火电池厂员工工资为韩国最低时薪2024-06-25 09:02:16

“这就是宇宙中最道德的军队?”

“这就是宇宙中最道德的军队?”2024-06-24 09:42:26

胡塞武装赶跑了“艾森豪威尔”号航母,菲律宾懵了!

胡塞武装赶跑了“艾森豪威尔”号航母,菲律宾懵了!2024-06-24 09:36:59

克罗地亚欧洲杯出线仅剩理论可能 魔笛独木难支

克罗地亚欧洲杯出线仅剩理论可能2024-06-25 09:12:08

阿桑奇与美国达成认罪协议 换取自由终结法律战

阿桑奇与美国达成认罪协议2024-06-25 09:12:17

相关新闻