中华网 china.com

新闻

大佬喊话，AI寒冬已来？扩展策略已达极限

小 大

用微信扫描二维码
分享至好友和朋友圈

关键词：
2024-11-14 10:39:47  新浪新闻

大佬喊话，AI寒冬已来？

OpenAI的原联合创始人Ilya Sutskever指出，使用大量未标记数据来理解语言模式和结构的训练阶段已经接近尾声。他提到，扩展训练的结果已经趋于平稳，意味着通过增加数据和算力来提升AI模型性能的方法已经遇到瓶颈。

对于像ChatGPT这样的大型语言模型，简单地通过增加更多数据和计算资源来扩大规模已不足以实现有意义的进步。虽然增加计算能力仍然是提升AI性能的一个方式，但已经无法像以前那样通过不断堆砌算力和数据量来实现模型的大幅提升。大模型企业需要采用更智能的训练技术，更加重视模型训练的方式和内容，而不仅仅是关注规模大小。这种方法的转变代表了人工智能发展的关键转折点，超越了“越大越好”的理念。

预训练阶段，大模型被输入大量未分类数据以识别模式和结构的过程，一直是开发强大LLMs的基石。这个阶段，模型通过消化各种文本——从书籍、文章到网站和社交媒体帖子——来学习语言表示，使其能够识别语法、语义和含义。然而，Ilya Sutskever认为这种方法现在已经趋于平稳。增加更多数据所带来的性能提升正在减少，更重要的是，人们越来越意识到模型的有效性不仅取决于它处理的数据量，还取决于它接触到的数据的质量和结构。这意味着大模型企业必须重新思考他们的策略，以在LLMs的发展上取得进一步的进展。

研究人员现在需要考虑更先进的方法来完善学习过程，而不仅仅是增加数据集的大小。这包括改进训练期间使用的算法，优化数据管理，并引入更先进的技术，如强化学习或多模态训练，其中模型不仅接触到文本，还接触到图像、视频或其他形式的数据。Ilya Sutskever关于未来的LLMs将需要“稍微思考更长时间”的评论强调了进步的另一个关键方面。大模型需要在更长时间内进行更复杂推理的能力，这对于需要深度理解、多步骤推理或长期记忆的任务越来越必要。

关闭

周冬雨：请给年轻创作者时间和机会

周冬雨请给年轻创作者时间和机会2024-12-04 13:58:06

跨省骑行老人被网友驱车找到安全送回

跨省骑行老人被网友驱车找到安全送回2024-12-04 13:57:27

米勒空砍34分 76人险胜黄蜂 马克西关键21分助胜

米勒空砍34分76人险胜黄蜂2024-12-04 13:57:00

尹锡悦深夜宣布“紧急戒严”后，五角大楼发声：2.8万驻韩美军态势未发生变化

尹锡悦深夜宣布“紧急戒严”后，五角大楼发声：2.8万驻韩美军态势未发生变化2024-12-04 10:53:00

米勒空砍34分 76人险胜黄蜂 马克西关键21分助胜

米勒空砍34分76人险胜黄蜂2024-12-04 13:57:00

美最强驱逐舰不惜血本搞“换装”：准备搭载高超音速导弹，对标中俄“快速进步压力”

高超音速，导弹，驱逐舰2024-12-04 10:45:51

特朗普再次玩梗加拿大 建议其成为美国第51州

特朗普再次玩梗加拿大,美国第51州2024-12-04 13:41:45

高三女生遭强奸致死案将开庭 母亲：希望能给孩子一个交代！

高三女生遭强奸致死案将开庭2024-12-04 13:56:00

北方第二城天津快被挤出前十了 宁波紧追不舍

北方第二城天津快被挤出前十了2024-12-04 13:44:47

中方加强相关两用物项对美国出口管制，“中国反制开始放开手脚了”

中方加强相关两用物项对美国出口管制，“中国反制开始放开手脚了”2024-12-04 11:03:20

中式刑侦一集12条人命震住观众 纯正刑侦剧再现荧屏

中式刑侦一集12条人命震住观众2024-12-04 13:40:52

特朗普发AI图玩梗加拿大 关税争议引发幽默互动

特朗普发AI图玩梗加拿大2024-12-04 13:41:00

卡塔尔称未恢复加沙冲突的斡旋工作 但立场没有改变

卡塔尔称未恢复加沙冲突的斡旋工作 但立场没有改变2024-12-04 10:50:07

父亲死亡3子女获赔72万被亲戚花光 亲情与金钱的考验

父亲死亡3子女获赔72万被亲戚花光2024-12-04 13:43:05

停火协议生效不到一周，黎以再动武

停火协议生效不到一周，黎以再动武2024-12-04 10:45:44

韩国暴力冲突一触即发

韩国暴力冲突一触即发2024-12-04 13:56:36

叙利亚是一面照妖镜

叙利亚是一面照妖镜2024-12-04 13:45:41

跨省骑行老人被网友驱车找到安全送回

跨省骑行老人被网友驱车找到安全送回2024-12-04 13:57:27

两女子用餐后顺走桌上杯碗盘 ：自助区的小铲子都没放过

两女子用餐后顺走桌上杯碗盘2024-12-04 13:54:17

权志龙新歌被KBS判为不合格 因广告违规

权志龙新歌被KBS判为不合格2024-12-04 13:42:06

“白宫背后施压，要求土耳其约束其支持的叙反对派武装”

“白宫背后施压，要求土耳其约束其支持的叙反对派武装”2024-12-04 10:41:25

英国首相斯塔默：俄乌冲突可通过谈判结束

英国首相斯塔默：俄乌冲突可通过谈判结束2024-12-04 10:51:55

叙利亚乱局有蹊跷，到底谁是“幕后操盘手”？

叙利亚乱局有蹊跷，到底谁是“幕后操盘手”？2024-12-04 10:42:16

周冬雨：请给年轻创作者时间和机会

周冬雨请给年轻创作者时间和机会2024-12-04 13:58:06

皮尔斯：老詹打出了生涯最糟表现 建议减少出场时间

老詹打出了生涯最糟表现2024-12-04 13:45:04

迪丽热巴有何魅力？她说趁年轻为什么不尽情尝试自己想做的事情

迪丽热巴有何魅力2024-12-04 13:41:20

太阳擒马刺仍无缘NBA杯8强 杜兰特伤退成转折点

太阳擒马刺仍无缘NBA杯8强2024-12-04 13:45:59

北约秘书长污蔑：中国“勒索”我们

北约秘书长污蔑：中国“勒索”我们2024-12-04 10:39:58

菲侵闯中国鲎藤礁现场图片公开 专家：菲方行为只会让中方加大管控力度

菲侵闯中国鲎藤礁现场图片公开 专家：菲方行为只会让中方加大管控力度2024-12-04 11:16:18

菲海警出动两艘日本造巡逻船，再赴鲎藤礁海域挑衅

菲海警出动两艘日本造巡逻船，再赴鲎藤礁海域挑衅2024-12-04 10:22:32

叙利亚叛军逼近中部大城市哈马

叙利亚叛军逼近中部大城市哈马2024-12-04 10:31:07

菲律宾前海军副司令：我们必须承认，中国成功争取到东盟国家的支持

菲律宾前海军副司令：我们必须承认，中国成功争取到东盟国家的支持2024-12-04 10:43:16

乌克兰：拒绝接受成为北约正式成员的替代方案

乌克兰：拒绝接受成为北约正式成员的替代方案2024-12-04 10:40:48

伊朗外长：如果叙利亚政府寻求伊朗军事帮助 伊朗会考虑

伊朗外长：如果叙利亚政府寻求伊朗军事帮助 伊朗会考虑2024-12-04 10:53:37

菲侵闯中国鲎藤礁现场图片公开 专家：菲方不可能占得丝毫便宜

菲侵闯中国鲎藤礁现场图片公开 专家：菲方不可能占得丝毫便宜2024-12-04 10:48:44

相关新闻

主编邮箱
网上不良信息举报电话：010-56177181
关于中华网 | 广告服务 | 联系我们 | 招聘信息 | 版权声明 | 豁免条款 | 友情链接 | 中华网动态
版权所有 中华网