今日技术观察 IT之家 11 月 6 日消息,OpenAI 首席执行官萨姆 · 奥尔特曼(IT之家注:Sam Altman)最近出席 Raj Shamani 播客时表示,人工智能可能通过两种方式走向失控:一是人类逐步将控制权交给自主式 AI,二是某个人或实体垄断 AI 技术。针对第一种情况,奥尔特曼警告称:“AI 会逐渐失去控制,我们可能有意或无意地将控制权交给能力远超人类的系统,最终再也无法夺回。”第二种情况的风险在于巨头垄断,奥尔特曼解释称:“另 01 背景速览 近期,OpenAI 首席执行官萨姆·奥尔特曼在播客中谈及人工智能风险,认为 AI 可能沿着两条路径走向失控:一是人类在便利性驱动下逐步把关键决策交给自主系统,二是少数公司、个人或国家掌握过强能力,形成技术垄断。与此同时,他也表达了对 AI 改善科研与长期福祉的乐观判断。 02 趋势影响 从趋势看,这类观点提醒行业关注的不只是模型能力,更是控制权、依赖结构和竞争生态。当企业把更多流程交给自动化工具时,若缺少人工复核、权限隔离和应急接管机制,就可能形成“越用越依赖、越依赖越难退出”的路径。另一方面,若核心能力过度集中于少数供应商,也会带来议价、供应中断和安全审计方面的压力。 03 企业应用启发 对企业而言,更稳妥的做法是把 AI 放在可治理的框架内推进:先选择低风险、可验证的场景,再逐步扩大范围;建立模型输出审核、数据来源说明、日志留痕和责任人机制;对关键业务保留人工确认与回退方案。在软件开发、网络安全和企业数字化场景中,AI 可用于代码审查、异常检测、知识库问答和流程自动化,但不应替代最终决策和合规判断。 04 合规观察 合规与风险方面,企业需要关注个人信息、商业秘密、数据安全、生成内容可追溯、模型输出错误带来的决策风险,以及供应商集中导致的持续运营风险。涉及高风险场景时,应形成风险评估、测试验证和持续监控记录,避免把“模型可用”直接等同于“业务可控”。 05 开放讨论 可讨论的问题是:在贵司的 AI 落地过程中,哪些环节必须保留人工复核?如何平衡效率提升与对单一模型、单一供应商的依赖?面对生成式 AI 带来的内容、数据和流程风险,企业应优先建立权限控制、审计日志、应急预案,还是更完善的供应商评估机制? 公开来源参考 OpenAI CEO 奥尔特曼警示:未来人类可能无法从 AI 手中夺回控制权