Nature封面：AI训AI 越训越傻 模型崩溃之谜
Nature封面：AI训AI 越训越傻
人工智能大语言模型的智慧通常与其接受的训练数据量成正比，越多的数据往往造就更“聪明”的模型。然而，《自然》杂志最近发布的一项研究揭示了一个反常现象：仅依赖AI自身生成的数据来锻炼这些大模型，不仅不会让它们变得更智能，反而会导致性能衰退，表现得愈发“愚钝”。
这项研究出自英国牛津大学和剑桥大学等学术机构的合作。研究团队观察到，当大语言模型的训练完全基于AI自制的内容时，会引发一种称为“模型崩溃”的现象。模型开始遗忘真实世界数据的本来面貌，并逐渐表现出不可逆转的功能退化。
实验中，通过大模型生成类似维基百科条目的文本，继而利用这些材料反复训练模型的新版本。随着迭代深入，由AI产生的信息不断“污染”训练素材，模型的输出变得越来越不合逻辑。例如，在某次迭代中，一篇本应聚焦英国教堂塔楼的文章，却离奇地插入了关于野兔尾巴颜色的描述。
探究“模型崩溃”的根源，关键在于模型受限于其训练数据的采样范围。那些原本就不频繁出现的词汇，在连续迭代中愈发稀少，而高频词汇则更加泛滥。这一趋势令模型渐渐丧失了准确反映现实世界多样性的能力。错误随迭代逐级累积，最终酿成“模型崩溃”，类似生物学中的“近亲繁殖”效应，缺乏基因多样性终将导致物种衰败。
值得注意的是，“模型崩溃”不仅限于大语言模型，其他如高斯混合模型、图像生成器等也存在类似风险。
面对“模型崩溃”，研究提出了一些缓解策略。保持模型微调过程中约10%的真实数据比例，能有效延缓崩溃过程。此外，采用水印技术区分真实与AI生成的数据，以及引入人工审核机制过滤AI文本，也是潜在的解决方案，但这需要科技巨头之间的合作与努力。
男子捡卡用123123取走9000元 密码竟能如此简单？
时隔三年重返中国女足，彭诗梦：我从未停止努力，希望再踢一次世界杯
辽宁葫芦岛建昌全县停工停产 应对强降雨保安全
易瘦体质潘玮柏上吃饭综艺了
美国力推达成协议，巴以双方相互指责，布林肯访中东强调“最后的机会”
黑神话悟空硬件性能需求测试 RTX 4090下的光追挑战
华为阿维塔合资加深：共创智能汽车新纪元
男子捡卡用123123取走9000元 密码竟能如此简单？
辽宁建昌暴雨全县停工停产 居民非必要不外出保安全
什么是3A游戏 《黑神话：悟空》的3A标准探索
台军一军车撞树7人受伤送医 陆军车辆意外引关注
激战库尔斯克是否让俄乌离谈判越来越远？专家解读
“会谈富有建设性”？冲突双方：仍存分歧！
美方称以方已接受一项有关加沙停火的过渡提议，哈马斯回应
波兰强硬回应“参与破坏北溪管道”指控，德国感到吃惊但仍决定避免争端升级
俄乌公布的战果都要打折扣……
菲海警船接连冲闯南海岛礁、故意冲撞我海警艇！专家：意图试探中方底线，菲方显然误判形势
辽宁葫芦岛建昌全县停工停产 应对强降雨保安全
充气模型、木头导弹、地面画像、空射诱饵弹……俄乌冲突中“诱饵装备无处不在”
黑神话悟空背后的资本和品牌 国产3A游戏之光的崛起
俄外长：乌克兰袭击库尔斯克州后，任何谈判都不可能
乌军越境攻击俄罗斯，俄乌两军战场表现如何？
印度外交部证实莫迪将访乌，美媒：此访旨在平衡与华盛顿和莫斯科的关系
胡塞无人机让美军司令头疼，质问激光武器在哪，解放军已率先上舰
采访佩戴纳粹徽章的乌克兰士兵，意大利记者道歉同时谴责“亲俄宣传”
同样是中国邻国，没有对比，就没有伤害
泽连斯基视频讲话点名美英法：需加快向乌克兰提供武器
德国政府遭批后回应：没有暂停对乌援助，讨论仍在进行中
乌上万大军入侵是如何瞒过俄罗斯的 隐秘战术与防线压力
俄军攻占乌东小镇纽约
黑神话悟空上线引爆A股游戏板块 华谊兄弟股价飙升43%
时隔三年重返中国女足，彭诗梦：我从未停止努力，希望再踢一次世界杯
故宫门票黄牛炒到1600元1张 官方票价26倍疯涨的背后
与辉同行主播晒新疆演出前排练视频 骏马英姿引期待
张昊唯说自己喜欢江疏影 风波中的情感纠葛
相关新闻
研究称越用AI越觉得AI有意识
最近，英国雷丁大学的科学家在一次学生考试中，将100%由GPT-4生成的答案代表33名假学生递交给考试系统，期间阅卷评分老师并不知道这项研究。
2024-07-15 11:29:16研究称越用AI越觉得AI有意识美国教授用2岁女儿训AI模型登Science，人类幼崽头戴相机训练全新AI
一位纽约州立大学的教授为了探索更高效的AI模型训练方法，采取了一项别出心裁的实验：他将类似GoPro的相机固定在他1岁9个月大的女儿Luna头上，以此记录她日常玩耍的视角，共计11个月，每周一小时
2024-05-14 13:19:10美国教授用2岁女儿训AI模型登Science什么？吃的越冰越容易中暑
2024-07-11 11:34:28吃的越冰越容易中暑AI科幻大片丨珍AI地球
在遥远的未来，地球会怎样，取决于我们今天的选择。地球是全人类赖以生存的唯一家园。珍爱地球，人与自然和谐共生。
2024-04-22 15:49:19AI科幻大片丨珍AI地球小麦“越涨越猛”！猛烈涨价遍地开花？
当前全国的小麦市场依然是存在很大的分歧，即便是中储粮小麦增储连续密集增开收购库点的局面下，基层市场依然存在强烈的悲观心态，卖粮速度依然十分积极，对于未来小麦市场预期也不高。
2024-06-24 09:53:52小麦“越涨越猛”！猛烈涨价遍地开花？2024王者荣耀挑战者杯参赛名额公布，新增青训赛道 青训新星登场
2024年的王者荣耀挑战者杯赛事即将拉开帷幕，本次比赛共吸引了24支队伍参与竞争
2024-06-13 13:47:162024王者荣耀挑战者杯参赛名额公布
