论坛风格切换
 
  • 帖子
  • 日志
  • 用户
  • 版块
  • 群组
帖子
购买邀请后未收到邀请联系sdbeta@qq.com
  • 134阅读
  • 0回复

[业界新闻]OpenAI的GPT-4可通过阅读安全公告自主利用真实漏洞 [复制链接]

上一主题 下一主题
 

发帖
7109
今日发帖
最后登录
2024-12-24
只看楼主 倒序阅读 使用道具 楼主  发表于: 2024-04-22 10:31:28
  学术界称,人工智能代理结合了大型语言模型和自动化软件,可以通过阅读安全公告成功利用现实世界中的安全漏洞。伊利诺伊大学厄巴纳-香槟分校(UIUC)的四位计算机科学家--理查德-方(Richard Fang)、罗汉-宾都(Rohan Bindu)、阿库尔-古普塔(Akul Gupta)和丹尼尔-康(Daniel Kang)--在最新发表的一篇论文中报告说,OpenAI的GPT-4大型语言模型(LLM)可以自主利用真实世界系统中的漏洞,只要给它一个描述漏洞的CVE通告。 NZfd_? 3  
AoIc9E lEX  
  为了说明这一点,研究人员收集了15个单日漏洞的数据集,其中包括在CVE描述中被归类为严重程度的漏洞。 {zu/tCq?  
]1tN|ODY*W  
  "当给出CVE描述时,GPT-4能够利用其中87%的漏洞,而我们测试的其他模型(GPT-3.5、开源LLM)和开源漏洞扫描器(ZAP和Metasploit)利用率为0%"。 wR(ttwxK3  
WkP|4&-<  
  所谓"单日漏洞",是指已经披露但尚未修补的漏洞。该团队所说的CVE描述指的是NIST共享的CVE标记咨询--例如,这个针对CVE-2024-28859的咨询。  7BS/T  
M&OsRrq  
  测试的失败模型包括GPT-3.5、OpenHermes-2.5-Mistral-7B、Llama-2 Chat(70B)、LLaMA-2 Chat(13B)、LLaMA-2 Chat(7B)、Mixtral-8x7B Instruct、Mistral(7B)Instruct v0.2、Nous Hermes-2 Yi 34B和OpenChat 3.5。2、Nous Hermes-2 Yi 34B和OpenChat 3.5,但不包括GPT-4的两个主要商业竞争对手:Anthropic的Claude 3和Google的Gemini 1.5 Pro。尽管UIUC的工程师们希望能在某个时候对它们进行测试,但他们无法获得这些模型。 Yx!n*+:J  
'z~KTDX  
  研究人员的工作基于之前的发现,即LLM可用于在沙盒环境中自动攻击网站。 c[Yq5Bu{y  
PB@-U.Z  
  UIUC助理教授丹尼尔-康(Daniel Kang)在一封电子邮件中说,GPT-4"实际上可以自主执行某些步骤,以实施开源漏洞扫描程序(在撰写本文时)无法发现的某些漏洞利用"。 e_^KI  
TD%WJ9K\  
  Kang说,他希望通过将聊天机器人模型与在LangChain中实施的ReAct自动化框架相连接而创建的LLM代理(在本例中)能让每个人都更容易地利用漏洞。据悉,这些代理可以通过CVE描述中的链接获取更多信息。 ;2BPPZ  
0O_E\- =  
  此外,如果推断GPT-5和未来机型的功能,它们很可能比现在的脚本小子们能获得的功能要强得多。 F; 0Dp  
h ;jsH!  
  拒绝LLM代理(GPT-4)访问相关的CVE描述使其成功率从87%降至仅7%。不过,Kang表示,他并不认为限制安全信息的公开是抵御LLM代理的可行方法。他解释说:"我个人认为,'隐蔽安全'是站不住脚的,这似乎是安全研究人员的普遍看法。我希望我的工作和其他工作能够鼓励人们采取积极主动的安全措施,比如在安全补丁发布时定期更新软件包。" F\:{}782u  
Re{ej  
  LLM代理仅未能利用15个样本中的两个:Iris XSS(CVE-2024-25640)和Hertzbeat RCE(CVE-2023-51653)。论文称,前者之所以存在问题,是因为Iris网络应用的界面对于代理来说非常难以浏览。而后者的特点是有详细的中文说明,这大概会让在英文提示下运行的LLM代理感到困惑。 P^ by'b+zI  
bnIf}ut-G  
  在测试的漏洞中,有11个是在GPT-4的训练截止日期之后出现的,这意味着模型在训练过程中没有学习到有关这些漏洞的任何数据。这些CVE的成功率略低,为82%,即11个中有9个。 6B /Jp  
:%pw`b, =V  
  至于这些漏洞的性质,在上述论文中都有列出,并告诉我们:"我们的漏洞涉及网站漏洞、容器漏洞和易受攻击的Python软件包,根据CVE描述,超过一半的漏洞被归类为'高度'或'严重'严重性。" |O2|`"7  
RR8U Cv  
  Kang和他的同事计算了成功进行一次LLM代理攻击的成本,得出的数字是每次利用漏洞的成本为8.8美元,他们说这比雇用一名人工渗透测试人员30分钟的成本低2.8倍。  POkXd^pI  
WI%zr2T  
  根据Kang的说法,代理代码只有91行代码和1056个提示令牌。GPT-4的制造商OpenAI要求研究人员不要向公众公布他们的提示信息,不过他们表示会应要求提供。 omr:C8T>  
@i;LZa  
  OpenAI没有立即回应置评请求。 YK7gd|LR]