随着企业 Agent 承担更多信息处理和流程执行工作，人工参与不应只是机械点击确认。如何设计可理解、可追溯、能真正发挥作用的人机协作机制，正在成为人工智能落地、软件开发和企业数字化建设中的重要议题。
今日技术观察 点击查看原文> 01 背景速览 近期关于企业 Agent 安全的讨论，聚焦于一个值得警惕的现象：系统虽然保留了人工确认环节，但人员可能在缺乏充分理解的情况下直接点击确认。这样的人在回路机制，形式上保留了人工参与，实际能否发挥风险识别和决策校验作用，则需要结合具体流程进一步审视。 02 趋势影响 这一问题反映出企业 Agent 应用正在从单纯提供建议，逐步走向参与任务处理和流程执行。随着系统承担的职责增加，人工审核的频率、信息呈现方式、责任边界和异常处理机制都会影响安全效果。企业不能只关注 Agent 是否能够完成任务，也需要评估人在关键节点是否看得懂、来得及判断，并且能够拒绝或纠正系统建议。 03 企业应用启发 对企业应用而言，人机协作设计应当与业务风险相匹配。对于涉及敏感数据、外部沟通、权限变更或重要业务结果的操作，可以重点考虑明确的审批条件、必要的操作说明、可追溯的日志记录以及异常升级路径。软件开发团队、业务部门和安全团队也需要共同定义哪些动作可以自动执行，哪些动作必须经过有效审核，避免把“有确认按钮”简单等同于“有人负责”。 04 合规观察 在合规和治理层面，企业还应关注数据使用范围、访问权限、个人信息及商业秘密保护、操作留痕和责任追踪等问题。具体要求需要结合业务场景、适用法律法规及内部制度判断，不能仅依赖技术功能或人工确认环节来覆盖全部风险。对于 Agent 输出和执行结果，也应保留必要的核验机制，并明确出现错误时的处置流程和责任分工。 05 开放讨论 值得讨论的是：什么标准才能证明人工审核是真正有效，而不是流程上的形式确认？哪些企业 Agent 场景适合自动执行，哪些场景必须保留更严格的人工决策？当系统建议、业务规则与人工判断不一致时，企业应如何记录、解释和处理？ 公开来源参考 当 human in the loop 变成“闭着眼睛点确认”，企业Agent 安全还能靠谁？