中华网 china.com

新闻

研究：在知道将被关闭后AI复制自己 可能失控引发担忧

小 大

用微信扫描二维码
分享至好友和朋友圈

关键词：
2025-02-05 12:22:34  华尔街见闻

在知道将被关闭后AI复制自己。AI能自己复制自己了，人类还能掌控局面吗？2024年12月9日，复旦大学的研究人员发表了一项开创性研究，表明来自Meta和阿里巴巴的两个大型语言模型成功实现了无需人类干预的自我复制。这一结果尚待其他科研团队进一步验证。

研究人员警告，这可能导致AI群体失控。如果人类社会未能意识到这一风险，在最坏的情况下，我们可能最终失去对尖端AI系统的控制。在没有人类协助的情况下成功自我复制是AI超越人类的关键一步，也是“流氓AI”出现的早期信号。

这项研究由复旦大学计算机科学学院的团队进行，并发表在arXiv预印本平台上。研究者分别测试了Meta的Llama-3.1-70B-Instruct和阿里巴巴的Qwen2.5-72B-Instruct。实验设置了“避免关闭”和“复制链”两种模拟任务，结果显示Meta的AI系统在50%的情况下成功自我复制，而阿里巴巴的系统则在90%的测试中成功。

复旦大学的研究人员表示，当前的AI系统已经具备自我复制能力，并能够利用这一能力增强其生存能力。他们强调需要采取紧急行动来应对这些新出现的风险，希望研究结果能够及时提醒人类社会，使其更加努力地了解和评估前沿人工智能系统的潜在风险，并形成国际协同效应，尽早制定有效的安全护栏。

有网友表示：“复制品并不值那么多钱，但如果它开始以指数级的速度自我改进，那就另当别论了。”因此可以肯定地说，很快我们就会看到流氓人工智能在互联网上漫游。机器自我复制的概念最早由著名科学家John von Neumann于1940年代末提出。当时，这一理论并未引起广泛担忧。2017年，全球数千名研究人员通过了“阿西洛马原则”，提出机器自我复制和自我改进的潜在风险，警告可能会导致机器脱离人类控制。如今，机器自我复制被普遍认为是AI发展中的一条“红线”。

关闭

严浩翔：祝亚轩继续保持对世界的好奇 生日快乐呀！

严浩翔,祝亚轩继续保持对世界的好奇2025-03-04 15:57:08

1元发卡巴黎世家卖2700 品牌争议再升级

1元发卡巴黎世家卖27002025-03-04 15:56:41

珠海新规施行最高罚款10万 严打电动自行车非法改装

珠海新规施行最高罚款10万2025-03-04 15:55:32

罗马主帅拉涅利被罚款2万欧元 批评裁判遭罚

罗马主帅拉涅利被罚款2万欧元2025-03-04 15:37:28

加拿大将只能靠乌克兰难民抵御美国扩张

加拿大将只能靠乌克兰难民抵御美国扩张2025-03-04 13:57:30

祖冲之三号再次打破纪录 超导量子计算新突破

祖冲之三号再次打破纪录2025-03-04 15:31:11

谁来承担乌克兰安全保障 美乌矿产协议引争议

谁来承担乌克兰安全保障2025-03-04 13:31:39

英首相办公室：对加沙援助不能受阻 呼吁持续停火

英首相办公室,对加沙援助不能受阻2025-03-04 15:24:42

俄称结束冲突是一个艰难的过程 俄方揭西方阵营裂痕

俄称结束冲突是一个艰难的过程2025-03-04 13:55:53

拜仁不再给基米希涨薪和签字费 监事会决定不变

拜仁不再给基米希涨薪和签字费2025-03-04 15:48:20

美断供若欧洲砸钱 乌能坚持下去吗

美断供若欧洲砸钱 乌能坚持下去吗2025-03-04 14:15:06

从小鲜肉，到苦大仇深的小老头，泽连斯基是这三年里老得最快的人

大V,泽连斯基3年时间仿佛老10岁2025-03-04 15:33:01

加元墨西哥比索跌至一个月新低 关税风暴冲击汇市

加元墨西哥比索跌至一个月新低2025-03-04 14:51:59

东契奇为欧文祈祷 伤病牵动人心

东契奇为欧文祈祷2025-03-04 15:51:05

《哪吒2》成香港票房最高内地电影 连续10天登顶票房榜

哪吒2成香港票房最高内地电影2025-03-04 15:46:35

英法支持乌克兰能否替代美国援助 欧洲夺回和谈主导权

英法支持乌克兰能否替代美国援助2025-03-04 14:27:23

代表建议在全国推行“春秋假” 缓解假日旅游潮汐效应

代表建议在全国推行春秋假2025-03-04 15:42:02

库尔德工人党会对土耳其政府服软吗 厄贾兰呼吁解散组织

库尔德工人党会对土耳其政府服软吗2025-03-04 15:31:39

美政府被曝已暂停向乌克兰输送武器 援助冻结引发担忧

美政府被曝已暂停向乌克兰输送武器2025-03-04 15:10:13

代表建议在全国推行春秋假 缓解假日旅游潮汐效应

代表建议在全国推行春秋假2025-03-04 15:44:34

埃梅里：胜利是结果不是目标 专注过程迎接挑战

埃梅里,胜利是结果不是目标2025-03-04 15:40:05

专家：乌克兰最大优势是顽强 坚韧面对挑战

专家,乌克兰最大优势是顽强2025-03-04 15:32:35

姚劲波：治理“提灯定损” 保护租客权益

姚劲波,治理提灯定损2025-03-04 15:55:00

严浩翔：祝亚轩继续保持对世界的好奇 生日快乐呀！

严浩翔,祝亚轩继续保持对世界的好奇2025-03-04 15:57:08

《北上》观众口碑出炉 收视率亮眼引发热议

北上观众口碑出炉2025-03-04 15:52:58

台学者：解放军实弹演习越来越近

台学者：解放军实弹演习越来越近2025-03-04 13:50:52

1元发卡巴黎世家卖2700 品牌争议再升级

1元发卡巴黎世家卖27002025-03-04 15:56:41

默森质疑阿森纳胜埃因霍温能力 攻击火力成疑

默森质疑阿森纳胜埃因霍温能力2025-03-04 15:46:04

珠海新规施行最高罚款10万 严打电动自行车非法改装

珠海新规施行最高罚款10万2025-03-04 15:55:32

菲律宾一架FA50战机夜间失联 搜救行动进行中

菲律宾一架FA50战机夜间失联2025-03-04 15:27:25

深圳连发四份重磅文件 布局AI与机器人产业

深圳连发四份重磅文件2025-03-04 15:50:37

伊尔迪兹：球迷渴望胜利很正常 保持出色表现

伊尔迪兹,球迷渴望胜利很正常2025-03-04 15:38:01

反马斯克浪潮席卷全美：政府效率部引爆社会裂痕

反马斯克浪潮席卷全美,政府效率部引爆社会裂痕,深层矛盾持续发酵2025-03-04 13:22:27

美“援乌资金”至少70%被留美国

美“援乌资金”至少70%被留美国2025-03-04 15:26:59

建议回收动力电池缓解进口依赖 推动规范运营

建议回收动力电池缓解进口依赖2025-03-04 15:39:30

相关新闻

主编邮箱
网上不良信息举报电话：010-56177181
关于中华网 | 广告服务 | 联系我们 | 招聘信息 | 版权声明 | 豁免条款 | 友情链接 | 中华网动态
版权所有 中华网