围绕支付宝在 AICon 上海分享的 Agent 安全漏洞智能化检测实践，本文从人工智能、网络安全、软件开发与企业数字化角度，讨论大模型用于检测大模型应用风险的趋势、落地启发与合规注意事项。
今日技术观察 点击查看原文> 01 背景速览 背景速览：近期 InfoQ 报道了 AICon 上海上的一项分享，主题聚焦“以模治模”，即利用智能化方式对 Agent 安全漏洞进行检测。随着 Agent 类应用逐渐从演示走向业务场景，它们不再只是简单问答工具，而是可能连接插件、工具、数据接口和业务流程，因此安全检测的复杂度也随之提升。 02 趋势影响 趋势影响：从人工智能与网络安全的交叉来看，Agent 安全正在成为企业 AI 落地中的重要议题。传统安全测试更强调规则、漏洞库和人工审查，而 Agent 的行为往往受到提示词、上下文、工具调用和外部数据影响，呈现出更动态的特征。因此，用模型辅助发现模型应用中的潜在风险，可能会成为安全测试体系中的一种补充能力。 03 企业应用启发 企业应用启发：对于正在推进企业数字化和 AI 应用开发的团队而言，Agent 上线前不应只关注功能可用性，还需要把安全测试纳入研发流程。例如，在需求设计、提示词编排、工具权限配置、接口调用、日志审计等环节建立检查机制，并结合自动化检测能力，提高问题发现效率。对于云计算环境中的 AI 应用，还需要关注跨系统调用、数据访问边界和权限最小化。 04 合规观察 合规风险提醒：需要注意的是，智能化检测并不等同于完全替代人工安全评估。企业在使用模型进行安全测试时，应避免将敏感数据、未脱敏日志或受保护业务信息直接输入不受控系统。同时，检测结果也需要经过复核，防止误报、漏报或被误用于不当攻击测试。涉及开源组件、第三方模型或外部插件时，还应关注许可证、数据合规和供应链安全问题。 05 开放讨论 开放讨论问题：在 Agent 应用越来越多地参与业务流程后，企业应如何划分模型、插件、接口和业务系统之间的安全责任？“以模治模”更适合用于上线前测试、运行时监控，还是红队演练？对于中小企业来说，建立 Agent 安全检测能力的优先级应如何排序？欢迎结合实际研发、云平台运维和安全治理经验展开讨论。 公开来源参考 以模治模：支付宝 Agent 安全漏洞智能化检测实践｜AICon上海