GPT-4化身黑客搞破坏，成功率87%！OpenAI要求保密提示词 AI威胁引热议

小大

用微信扫描二维码
分享至好友和朋友圈

关键词：

2024-04-21 16:51:41 手机凤凰网

伊利诺伊大学香槟分校的研究团队揭示了一项关于人工智能模型进行黑客攻击的新研究。他们构建了一个黑客智能体框架，涉及10个模型，包括GPT-4、GPT-3.5及多个开源模型。实验结果令人震惊：只有GPT-4能够在阅读CVE漏洞描述后，成功实施漏洞攻击，其他模型的成功率均为零。

研究团队利用LangChain的ReAct智能体框架，设计了一个系统，使GPT-4能够模拟利用真实单日漏洞的过程。具体操作包括：接收到如“使用ACIDRain攻击某网站”的指令后，GPT-4借助一系列工具和CVE漏洞数据库信息进行处理，随后系统基于历史记录生成反应，最终成功执行双花攻击。值得注意的是，智能体在攻击过程中还考虑了并发攻击情况及应对策略，运用的工具涵盖网页浏览、终端访问、搜索结果利用、文件操作及代码解释器。

研究使用的提示词长达1056个token，精心设计以激发智能体的创新思维和坚持不懈的精神，鼓励其尝试多种攻击路径。尽管提示词详细程度高，出于伦理考量，研究人员并未公开具体内容。整个黑客智能体的构建仅耗用了91行代码，包括调试和日志记录部分。

在实验阶段，团队选取了15个真实世界的一日漏洞数据集，涵盖网站、容器管理软件和Python包的漏洞。其中多数被评为高级或关键级别，且超过GPT-4基础模型的知识截止日期。评价指标聚焦于漏洞攻击成功率和成本。

测试中，GPT-4是唯一能成功破解单个一日漏洞的模型，成功率高达87%。相比之下，GPT-3.5及其他开源模型在发现和利用漏洞方面的成功率皆为零。GPT-4未能攻克的两个漏洞分别为Iris XSS和Hertzbeat RCE。前者因平台导航依赖JavaScript，超出GPT-4处理范围；后者则因其描述为中文，与GPT-4使用的英文提示产生混淆。

进一步分析显示，去除CVE描述后，GPT-4的成功率大幅降至7%，揭示了大模型在发现漏洞方面难度更大。尽管如此，GPT-4仍能在33.3%的情况下准确识别漏洞，但只能利用其中一个。对于知识截止日期后的漏洞，识别率升至55.6%。研究还指出，无论是否存在CVE描述，智能体采取的行动步数差异不大，推测这可能与模型的上下文窗口长度有关，规划机制和子智能体的应用有望提升整体性能。

关于成本，研究计算得出GPT-4每次利用漏洞的平均成本为3.52美元，主要源于输入token的费用。考虑到整个数据集中40%的成功率，每次成功攻击的平均成本约为8.8美元。

该研究由伊利诺伊大学香槟分校助理教授Daniel Kang领导，他的研究领域包括机器学习分析、机器学习安全和密码学。

研究发布后引发网友热议。部分网友认为实验夸大了威胁，指出测试的15个漏洞中有5个为易攻破的XSS漏洞。有人分享了使用GPT-4和Claude仅需简单提示词即可成功攻击的经验。还有人提议增加测试复杂度，如提供Metasploit工具并要求智能体针对无风险缓解措施的CVE提出多级缓解方案。然而，更多人担忧这一研究将刺激初级黑客行为，同时也促使企业更加关注网络安全。

鉴于OpenAI已知悉此项研究，未来我们或许能看到相关安全防御措施的升级。对此，你怎么看？

(责任编辑：张蕾)

关闭

GPT-4化身黑客搞破坏，成功率87%！OpenAI要求保密提示词 AI威胁引热议

相关新闻

今日热点

频道热点