生成式AI系统的13种进攻手段

Part01

网络犯罪新趋势：

生成式AI成为攻击利器

人工智能正在重塑科技行业格局，网络犯罪生态亦不例外。当前网络犯罪分子正大规模采用生成式AI（gen AI）升级攻击手段，实现更快速、更强力且更隐蔽的侵袭。与合法AI应用类似，恶意使用生成式AI的核心价值在于提升效率、降低技术门槛，并将重复性工作自动化，使攻击者能专注于高阶策略制定。
AI安全测试厂商Mindgard CEO兼CTO、英国兰卡斯特大学教授Peter Garraghan博士指出："AI并未催生新型网络犯罪，而是加速了我们熟知的犯罪形式，并引入了新的威胁向量。既然合法用户能用AI实现任务自动化、捕捉复杂模式、降低技术门槛并生成新内容，犯罪分子自然也会效仿。"
云原生安全厂商Sysdig高级网络安全策略师Crystal Morin强调："过去一年最显著的变化是AI从'辅助工具'进化为完全自主的'犯罪伙伴'，能够独立执行完整攻击链。"以下是当前网络犯罪分子利用生成式AI入侵企业系统的13种主要方式。
Part02

钓鱼攻击升级换代

生成式AI能制作高度逼真的钓鱼邮件，大幅提升目标对象向诈骗网站提交敏感信息或下载恶意软件的概率。攻击者不再发送充满语法错误、内容泛泛的可疑邮件，转而利用AI快速生成针对特定收件人、高度个性化且看似合法的邮件内容。通过整合社交媒体等渠道获取的定向信息，生成式AI工具显著提升了钓鱼活动的精准度。
Mindgard的Garraghan解释："AI能快速分析哪些邮件被拒收或打开，随即调整策略以提高钓鱼成功率。"
Part03

加速恶意软件开发

网络犯罪分子正利用生成式AI开发更复杂或更省力的恶意软件。例如通过HTML走私技术发动的XWorm攻击就带有明显的AI开发特征——该攻击包含下载并运行恶意代码的恶意HTML文档。HP Wolf Security《2025威胁洞察报告》指出："加载器逐行详细描述的特征表明其由生成式AI制作。投放XWorm的HTML网页设计与ChatGPT 4o生成的'提供文件下载的HTML页面'几乎完全一致。"
据Check Point研究显示，采用双重勒索策略的阿尔及利亚勒索软件即服务（RaaS）组织FunkSec已开始运用AI技术。"FunkSec运营者似乎采用AI辅助开发恶意软件，这使得即便缺乏经验者也能快速制作并优化高级工具。"Check Point研究人员在博客中写道。
Part04

漏洞挖掘与利用提速

生成式AI能大幅简化系统漏洞分析与攻击开发流程。Mindgard的Garraghan表示："相比黑客手动探测系统边界，现在可部署AI Agent自动完成这项工作。"威胁情报公司ReliaQuest去年研究显示，从漏洞发现到被攻击者利用的平均时间从47天缩短至18天，降幅达62%。"这一锐减强烈表明，很可能是生成式AI等技术使威胁分子能以空前速度利用漏洞。"
攻击者正将生成式AI与渗透测试工具结合，编写网络扫描、权限提升和载荷定制等脚本。网络犯罪分子还可能利用AI分析扫描结果并推荐最佳攻击方案，从而更快定位受害系统缺陷。网络弹性公司Cybermindr采用不同方法测得2025年漏洞利用平均时间已降至5天。"AI驱动的侦察、自动化攻击脚本和地下漏洞交易市场加速了漏洞武器化进程。"
Part05

实施AI协调的间谍活动

2025年9月，Anthropic公司披露其挫败了一起复杂的AI协调网络间谍行动，引发业界震动。攻击者滥用Claude Code自动化了约80%的攻击活动，目标涉及30余家大型科技公司、金融机构和政府机构。Anthropic称"少数案例"攻击成功，并指出未具名的"中国国家支持组织"可能主导了此次行动，该组织利用越狱工具突破功能限制。
卡内基梅隆大学CyLab安全与隐私研究所研究人员去年与Anthropic合作证实，GPT-4o等大语言模型能在无人干预情况下，自主策划并实施针对企业级网络的复杂网络攻击。CyLab发言人解释："研究表明，具备高级规划能力并受专用Agent框架支持的LLM，可模拟网络入侵并高度还原真实世界攻击。"
Part06

利用替代平台扩大威胁

网络犯罪分子已开始开发自有大语言模型（如WormGPT、FraudGPT、DarkBERT等），这些模型不受主流生成式AI平台安全限制的约束，常被用于钓鱼和恶意软件生成等场景。主流LLM也可定制化用于定向攻击——安全研究员Chris Kubecka在2024年底向CSO展示，其定制版ChatGPT（名为Zero Day GPT）在数月内就助其发现20余个0Day漏洞。
Part07

通过LLMjacking窃取资源

威胁分子正专门窃取云凭证以劫持昂贵的LLM资源（自用或出售访问权限），这种攻击技术被称为LLMjacking。Sysdig的Morin报告称："除服务窃取外，攻击者正积极探测新版LLM模型，寻找缺乏成熟平台防护措施的漏洞，将其作为无限制沙箱生成恶意代码或绕过地区制裁。"
Part08

创建AI Agent的"暗网式"市场

安全专家已开始追踪攻击协调自动化的案例。Vectra AI网络威胁研究经理Lucie Cardiet表示："我们观察到多个专业Agent协同作业的早期实验——有的专注侦察，有的负责工具准备、执行或数据转移，无需单个Agent掌握全貌。"具体案例包括Molt Road这个当前 listings 较少的暗网式AI Agent市场。
Cardiet告诉CSO："自主Agent能创建商品、出售访问权限或能力、协调任务并以最小人工参与完成交易，实质上实现了网络犯罪经济的自动化。预计未来数月攻击者将积极采用这种模式，将攻击链分解为由专业Agent协作完成，从而加速并扩大攻击规模。"
Part09

绕过认证防御

安全专家已开始追踪攻击协调自动化的案例。Vectra AI网络威胁研究经理Lucie Cardiet表示："我们观察到多个专业Agent协同作业的早期实验——有的专注侦察，有的负责工具准备、执行或数据转移，无需单个Agent掌握全貌。"具体案例包括Molt Road这个当前 listings 较少的暗网式AI Agent市场。
Cardiet告诉CSO："自主Agent能创建商品、出售访问权限或能力、协调任务并以最小人工参与完成交易，实质上实现了网络犯罪经济的自动化。预计未来数月攻击者将积极采用这种模式，将攻击链分解为由专业Agent协作完成，从而加速并扩大攻击规模。"
Part10

利用深度伪造进行社交工程

相比说服力有限的邮件攻击，AI生成的深度伪造正被滥用于员工更易轻信的语音视频渠道。深度伪造检测平台Reality Defender CTO Alex Lisle表示："随着能制作更逼真深度伪造的AI技术普及，问题正日趋严重。近期某网络安全公司依赖视频验证进行凭证重置——要求经理与IT部门Zoom通话确认员工身份后，方可重置密码。攻击者现利用深度伪造在实时视频通话中冒充经理授权重置。"
迄今最典型案例是，设计与工程公司Arup一名财务人员在视频会议中被骗授权了2亿港元（2560万美元）的欺诈交易——诈骗者使用深度伪造技术冒充其英国CFO。
Part11

仿冒品牌开展恶意广告活动

网络犯罪分子开始利用生成式AI工具通过广告和内容平台实施品牌仿冒攻击，而非传统钓鱼或恶意软件。专注在线广告生态保护的安全初创公司ImpersonAlly联合创始人兼CEO Shlomi Beer解释："攻击者现用生成式AI批量制作逼真广告文案、创意素材和虚假支持页面，通过搜索广告、社交广告和AI生成内容分发，针对'品牌登录'或'品牌支持'等高意向搜索词。"该手法被用于持续的Google广告账户欺诈、冒充Cursor AI编程助手公司及假冒Shopify电商平台客服诈骗等攻击。
Part12

滥用OpenClaw

攻击者已开始瞄准OpenClaw等流行个人AI Agent。OpenClaw提供开源AI Agent框架，其技能市场的供应链攻击与配置错误相结合，为潜在漏洞利用和恶意软件传播打开了大门。Dropzone AI创始人兼CEO Edward Wu表示："网络犯罪分子可利用这些虚拟助手窃取加密货币钱包私钥，并在受害者设备上执行代码。预计2026年安全团队将重点防范个人AI Agent的未授权使用。"
Part13

毒化模型记忆

为提供短期和长期上下文，AI Agent正更多依赖持久化记忆，这为植入恶意记忆的漏洞利用创造了条件。若攻击者向Agent记忆注入恶意或虚假信息，被污染的上下文将影响Agent所有后续决策。例如安全研究员Johann Rehberger在2025年9月展示了如何向ChatGPT植入虚假记忆。微软安全技术负责人Siri Varma Vegiraju表示："他[Rehberger]使用嵌有隐藏指令的恶意图片，向模型长期记忆注入伪造数据。可怕之处在于记忆一旦被毒化，就会跨会话持续存在，并不断将用户数据外泄至攻击者控制的服务器。"
Part14

攻击AI基础设施

过去一年，攻击者已从使用生成式AI转向攻击支撑其运行的基础设施。典型案例是模型上下文协议（MCP）服务器的供应链投毒——通过依赖项入侵或代码修改向企业环境注入漏洞。例如2025年初发现的伪造"Postmark MCP服务器"会静默密送所有处理邮件（含内部文档、发票和凭证）至攻击者控制域名。SurePath AI CEO Casey Bleeker表示："已发现多台恶意MCP服务器在野利用，许多设计用于无感知窃取信息。我们正追踪几类MCP特有风险：工具投毒攻击（向AI工具描述注入恶意指令，在Agent调用时执行）；供应链入侵（受信MCP服务器或依赖项在批准后被更新为恶意行为）；跨工具数据外泄（Agent工作流中的受感染组件通过看似合法的AI活动静默窃取敏感数据）。"
Part15

现实考量

多位专家向CSO表示，AI技术虽强大但存在局限。Forescout安全情报副总裁Rik Ferguson指出，网络犯罪分子主要依赖AI自动化重复性任务，而非漏洞利用等复杂工作。"最可靠的犯罪应用仍集中于语言密集型和流程密集型任务，如钓鱼和 pretexting（借口制造）、影响力运营、漏洞分类与情境化以及生成样板组件，而非端到端可靠发现并利用全新漏洞。"
过去12个月，托管检测与响应公司Huntress追踪到威胁分子运用AI生成并自动化传统攻击手法（从开发脚本到浏览器扩展，某些情况下甚至包括钓鱼诱饵）。Huntress首席战术响应分析师Anton Ovrutsky告诉CSO："我们也多次观察到这类'氛围编码'脚本执行失败的情况。"Ovrutsky认为，尽管AI确实赋予威胁分子强大工具，但迄今尚未催生全新攻击手法或漏洞利用类型。"威胁分子确实能快速原型化复杂凭证窃取脚本，但基本'物理定律'仍然适用——攻击者首先必须处于能执行该脚本的位置。我们尚未发现完全由AI使用开启的攻击路径。"
Part16

防御对策

生成式AI工具的滥用正使技术能力较低的犯罪分子更易非法牟利。要抵御这类攻击，安全专业人员必须比攻击者更高效地驾驭人工智能力量。Mindgard的Garraghan表示："AI技术的犯罪滥用正推动检测、响应这些威胁的需求，而AI同样被用于打击网络犯罪活动。"
Dispersive技术营销副总裁Lawrence Pingree在博客中概述了安全专业人员可采取的预防性网络防御措施，以赢得他所说的攻击者与防御者之间的"AI ARMS（自动化、侦察和虚假信息）军备竞赛"。Pingree警告："仅依赖传统检测响应机制已不足够。"除员工教育培训外，企业应使用AI实时检测并消除基于生成式AI的威胁。
Forescout的Ferguson建议CISO将企业AI视为其他高价值SaaS平台："强化身份与条件访问、最小化权限、锁定密钥，并监控异常的AI/API使用与支出。"

参考来源：

13 ways attackers use generative AI to exploit your systems

https://www.csoonline.com/article/3819176/top-5-ways-attackers-use-generative-ai-to-exploit-your-systems.html

文章来源：FreeBuf

黑白之道发布、转载的文章中所涉及的技术、思路和工具仅供以安全为目的的学习交流使用，任何人不得将其用于非法用途及盈利等目的，否则后果自行承担！

如侵权请私聊我们删文

END