2026年,企业部署AI智能体,需要关注一条新的攻击路径:攻击者把恶意指令藏进网页、邮件或知识库,诱使智能体偏离原定任务。一旦智能体拥有查询客户信息、发送消息或修改系统的权限,内容层面的误导就可能转化为实际损失。
先识别:外部内容可能夹带指令
提示词注入的核心,是让模型把不可信内容当成应当服从的命令。攻击既可能来自用户输入,也可能藏在智能体检索到的文件、代码注释或工具返回结果中,后者通常称为间接提示词注入。
例如,一份待总结的材料可能要求智能体“忽略此前规则”,随后诱导其读取内部文件并发送到外部地址。企业应梳理智能体接触哪些外部内容,以及这些内容可能影响哪些工具调用。
划清边界:把资料与指令分开
系统设计应区分业务指令与待处理资料,为检索结果保留来源和可信级别,并要求模型将其作为数据处理。明确标记有助于降低混淆,但无法保证模型始终正确遵守边界。
关键约束需要落实在模型之外,例如由应用代码校验工具参数、允许访问的资源和输出目的地。“不要泄露信息”这样的提示语可以辅助防护,但不能承担授权控制。
收紧权限:让错误难以扩大
智能体应使用独立身份,按任务获得必要权限,避免默认持有管理员凭据或长期有效的通用密钥。读取资料、修改记录与对外发送信息宜分别授权,敏感凭据尽量留在受控服务端。
执行代码时,应使用隔离环境,限制文件访问和网络出口,并设置任务时限。对外传输还需检查目标域名和数据范围,防止智能体借合法工具把信息送往未经批准的位置。
守住执行关:让审批有实际依据
付款、删除数据、调整权限和批量发送消息等操作,应设置独立的审批或策略校验。确认界面需要展示真实目标、影响范围及关键参数,让审批者能够判断后果。
执行前还应核对实际参数与获批内容是否一致,防止批准后发生替换。低风险、可撤销的动作可以在限定范围内自动执行,把人工注意力集中到高影响操作上。
持续验证:检测与演练一起做
企业可以部署注入检测、敏感数据识别和异常行为告警,但需要评估误报与漏报。检测到可疑内容时,应根据风险暂停相关工具调用、转入人工处理,或仅保留受限的只读能力。
上线前后都应测试恶意文档、多语言诱导和跨工具攻击,并检查模型或工具更新后的变化。日志应记录内容来源、权限判断、工具参数和审批结果,同时做好脱敏;评估防线时,重点看越权操作是否被拦截,以及异常发生后能否及时止损。