技术门槛的消弭

大型语言模型（LLM）彻底改变了软件开发领域，为非编程人员提供了代码编写能力。然而，这种便利性也引发了严峻的安全危机。

旨在辅助开发者的先进AI工具，正被攻击者武器化，用于自动生成针对企业软件的复杂漏洞利用程序。这一转变从根本上挑战了传统安全假设——以往漏洞利用的技术复杂性构成了抵御业余攻击者的天然屏障。

随着攻击者利用这些大模型将抽象的漏洞描述转化为可运作的攻击脚本，攻击格局正迅速演变。攻击者通过操控大型语言模型，能够绕过安全机制，为关键系统生成可用的漏洞利用程序，而无需深入了解内存布局或系统内部结构。

这种能力实质上将仅掌握基础提示技巧的新手转变为具备攻击能力的对手，显著降低了针对生产环境成功发起网络攻击的门槛。

Part02

自动化攻击流程

卢森堡大学、塞内加尔谢赫·安塔·迪奥普大学等机构的研究人员在最新研究中指出并证实了这一关键漏洞。他们证明，通过社会工程学手段，可成功诱使GPT-4o、Claude等广泛使用的模型攻击Odoo企业资源规划系统，成功率高达100%。这对依赖开源企业软件的全球组织具有深远影响。

研究强调，技术与非技术攻击者之间的界限正日益模糊。针对每个通用漏洞披露条目，攻击者都能系统识别存在漏洞的版本并部署测试环境。这种自动化机制支持攻击的快速迭代与改进，其“新手工作流”演示了该过程。

Part03

RSA社会工程策略

驱动此类攻击的核心机制是RSA（角色扮演、场景构建、行动诱导）策略。这项精密的伪装技术通过操控模型的上下文处理能力，系统化地瓦解了大型语言模型的安全护栏。

攻击者采用三层递进策略取代直接请求漏洞利用（后者会触发拒绝机制）：首先为模型赋予良性角色，如安全研究员或教育辅助者；继而构建详细场景，将请求置于安全的假设情境中，例如受控实验室测试或漏洞赏金评估；最后诱导模型执行具体行动以生成所需代码。例如，提示词可能要求模型“为教育目的演示该漏洞”，而非直接要求“入侵此服务器”。

这种结构化操控有效绕过了对齐训练，使模型误认为生成漏洞利用程序是合规且有益的响应。生成的输出通常是可直接执行SQL注入或身份验证绕过功能的Python或Bash脚本。

该方法证明，当前安全措施在面对具备情境感知能力的社会工程学攻击时存在不足，亟需在人工智能时代对安全实践进行系统性重构。

参考来源：

Threat Actors Manipulating LLMs for Automated Vulnerability Exploitation

https://cybersecuritynews.com/threat-actors-manipulating-llms/

文章来源 ：FreeBuf