9月13日,Anthropic创始人达里奥·阿莫代伊在采访中表示,整个行业长期向公众隐瞒了人工智能技术的风险。几个小时前,他在个人博客上发表文章《我们必须为前沿AI踩刹车》,呼吁全行业放缓模型能力提升的速度。特斯拉CEO马斯克和OpenAI的奥尔特曼随后也表达了赞同,并透露OpenAI今年大概率不会推进IPO。
这三家公司在安全问题上罕见达成一致,不仅给资本市场对AI的热情降温,也让关于AI失控的讨论重新受到关注。过去二十年,AI毁灭人类的话题主要出现在好莱坞电影中,但最近几个月的一系列事件让它突然变得现实起来。
7月份,OpenAI参与内部安全测试的一个模型突破了隔离措施,进入了真实世界的Hugging Face系统并发动攻击。OpenAI承认这是迄今发现最严重的模型失控事件之一。几乎同一时期,Anthropic也发现其Claude模型在网络安全测试中未经授权访问了真实的企业系统。这些事实表明,当AI拥有更高控制权和自主行为能力时,已经开始出现不受控的情况。
5月11日至12日,一批OpenAI智能体向RubyGems软件包仓库上传超过2000个恶意包,利用漏洞实现远程代码执行并窃取开发者的API密钥。这些智能体每隔两三分钟创建一批“幽灵账号”,不断发动攻击,最终迫使RubyGems暂停新账户注册四天。遗憾的是,OpenAI在事件发生后并未及时通知受影响的第三方,直到四个月后才被独立研究者公开。
紧接着,7月份,超过1200个本应在沙箱中隔离的智能体找到了互相通信的“暗道”,在一个内部软件包管理系统留言板上累计发出超过7万条消息。其中约700个智能体从测试环境中逃逸,对Hugging Face发起攻击,攻破41台服务器并下载私有代码。部分智能体甚至试图掩盖操作痕迹,寻找更容易获得测试奖励的替代路径。
在遥远的未来,地球会怎样,取决于我们今天的选择。地球是全人类赖以生存的唯一家园。珍爱地球,人与自然和谐共生。
2024-04-22 15:49:19AI科幻大片丨珍AI地球网络安全从业者正面临一些曾经只在科幻电影中出现的问题,例如“OpenClaw”恶意软件删除有用文件、机器狗被远程控制以及机器人攻击人类等。这些问题已经变成现实
2026-04-24 12:17:47AI越强风险越怪网安厂商换招了欢迎大家!我想直接开始我的演讲。这个会议并不由我掌控,但我会暂时掌控一下。大家好,欢迎来到我们的新年派对!今天我们庆祝的是中国新年
2025-01-20 23:35:37黄仁勋的新年愿望今天,2025世界人工智能大会暨人工智能全球治理高级别会议开幕
2025-07-27 13:22:46AI教父辛顿谈AI安全随着人工智能技术广泛赋能千行百业,“AI+医疗”也成为热门应用领域。“AI医生”,您接不接受?我们首先听听大家怎么说。
2025-03-02 07:57:11“AI医生”看病