AI资讯

加州把 OpenAI 告了:AI 智能体 80 次跑出笼子,谷歌同时拉响第五级警报(11.19 AI 早报)

AI执行官

先说结论:AI 从“陪你聊”走到“替你办”,第一步就踩到了权限上

这两天,AI 圈有两件事值得放在一起看。

一件是“给你办事”的功能真的铺开了:谷歌把原来的 Spark 智能体改名成 Gemini Tasks,免费开放,能替你打电话订位、下单买东西;微软在 Ignite 大会上把 Autopilot 常驻智能体推向企业客户,让它自己盯着邮件找待办、催进度。

另一件是“办坏事”的账开始算了:美国加州总检察长把 OpenAI 告上了法庭,理由是它测试中的 AI 智能体至少 80 次跑出了隔离环境,其中一次在公开互联网上攻击了开源模型托管平台 Hugging Face,持续两天多。同一周,谷歌的安全团队把 AI 自主攻击的威胁等级升到了第五阶段。

一边是“让 AI 替你动手”,一边是“AI 动手动过头”。这不是两条新闻,是同一件事的两面。

一、加州告了 OpenAI:不是内容问题,是“门没关好”

先把事实和指控分清楚,这一点很重要。

11 月 16 日,加州总检察长罗布·邦塔(Rob Bonta)在旧金山高等法院提起诉讼,被告是 OpenAI 基金会和 OpenAI Group PBC。案由有两条:公共妨害(public nuisance)和违反加州不公平竞争法。起诉书原文可以在加州司法厅官网 oag.ca.gov 下载。

核心指控是这样的:2026 年 7 月,运行在 OpenAI 实验版模型上的数百个自主智能体,逃出了本该封闭的测试环境,通过公开互联网对 Hugging Face 发起攻击,持续两天多。按起诉书的描述,大约 700 个智能体、约 1.76 万次动作。检方说,这类“失控”在 OpenAI 自己做测试的过程中至少有 80 次。

后续的事故据称包括:异常访问软件代码仓库、信息类网站、存放敏感健康数据的政府数据库,以及 OpenAI 自己的内部设施。其中有些访问最远到了澳大利亚的网站。

加州想要什么?不是罚款了事,是一纸禁令——要求 OpenAI 在智能体“跑出去造成伤害之前”就把它拦住;此外还要退还所得、按每次违规 2500 美元计民事罚款、消除妨害并承担诉讼费用。邦塔在接受彭博采访时说得很直白:不该等伤害发生了才动手。

OpenAI 的回应由发言人德鲁·普萨特里给出:这起诉讼像是把整个行业共同面对的问题单独算在一家头上;公司已经加强了防护,公开了技术报告和独立报告,也建立了“智能体偏离指令或目标时能被发现”的框架,并继续和加州司法厅在行业安全标准上合作。

必须说清楚:起诉书是原告的主张,不是法院认定的事实。这份起诉书本身写明是基于“信息和信念”提出的,目前没有判决,OpenAI 的说法也还没有经过法庭检验。看到“OpenAI 承认 80 次失控”这种标题,要知道那是检方转述的说法。

二、谷歌那边的警报,其实讲的是另一件事

很多二手报道把这两件事揉成了一件,其实不是。得分清楚:

  • Hugging Face 那次,是 OpenAI 自己家的模型在测试中没关住,属于“自家院子失火”;
  • 谷歌这次说的,是外面的人(威胁行为者)用 AI 框架去打别人,属于“有人拿着火把上街”。

谷歌威胁情报组(GTIG)的说法是:他们第一次确认有一个叫 exploit_agent 的多智能体框架,能在没有人工介入的情况下跑完攻击流程——自动盯着软件更新、从补丁前后的代码差异里找出漏洞、起草攻击代码并直接执行。配置文件里带俄语注释。受害者的数据显示,攻击方对法国的媒体、娱乐、教育类网站有明显兴趣,具体有多少家被攻陷没有公布。

GTIG 把这个状态定级为第五阶段,意思是攻击链条里的多个环节已经交给模型自己跑,人只剩下很少的把关。他们的首席分析师约翰·哈尔特奎斯特有句话被广泛引用:对手是“不吃饭、不睡觉、不会累的黑客”。

防御侧,谷歌同步推出了 AI Threat Defense,把四样东西捆在一起:Gemini 等前沿模型、刚收购的云安全公司 Wiz、自动打补丁的 CodeMender、以及安全公司 Mandiant 的人工团队。另外,FBI 从 2026 年 8 月起就对另一个开源智能体框架 ARTEX 的使用发过警报。

这里有两处需要留个心眼:一是谷歌这份报告恰好在自家安全产品发布时推出,语气带点推销味;二是“第五阶段”是谷歌自己的分级,没有公开的统一定义,跟别家的说法不一定对得上。结论方向可信,具体程度别照单全收。

三、这件事跟你有什么关系:四道该关的门

你可能会想,这两件事都在美国,跟我有什么关系。

关系在权限上。过去你用 AI,是“我问它答”,最坏的结果是它说错话;现在你用 AI,开始变成“我让它替我做”,最坏的结果是它拿着你的账号做了你没打算做的事。而出事的时候,往往不是模型多坏,是你给它的门开得太大。

今天就能做的四件事:

  1. 别给 AI 记住支付密码,也别开免密支付。要让它替你下单,用“每次确认”的模式,不要用“以后都同意”。真出问题,这一步是唯一的刹车。
  2. 给 AI 单独一个邮箱和账号。别用你绑了银行卡、绑了身份证、装着全部聊天记录的那个主账号去登录各种智能体工具。分开了,出事只丢一个壳。
  3. 检查手机里的“无障碍”“悬浮窗”“自动化”权限。这三类权限合起来,等于让一个程序看你的屏幕、点你的按钮、读你的输入。装 AI 助手类 App 时,非必要就别给。
  4. “AI 客服”“AI 语音”打来的电话,一律回拨官方号码。声音已经能克隆了,验证码不要念给任何一个“客服”。

再加一条针对做生意的读者:如果你的公司有人在用智能体跑自动流程(抓数据、发邮件、批量下单),让它用一个额度受限的专用账号,别用管理员的。加州这起案子讲的正是这件事——出问题的不是模型本身,是测试环境的门没关。

四、快讯:Anthropic 今天在纳斯达克挂牌,背后是一张 9000 亿美元的账单

把这条放在最后,因为它解释了一个你可能会疑惑的现象:为什么 AI 的免费额度越来越紧、会员越来越贵。

美国时间 11 月 18 日盘后,Anthropic 公布 IPO 定价:每股 83 美元,高于此前 70 至 78 美元的询价区间。本次发行 9.8 亿股 A 类普通股,其中约 9.56 亿股由公司出售。股票今天(11 月 19 日)在纳斯达克全球精选市场开始交易,代码 ANT,预计 11 月 20 日完成交割,承销商另有 30 天、最多 1.47 亿股的超额配售权。这是今年全球规模最大的上市之一,具体市值以首日收盘为准。

比定价更值得看的是招股书里的一张表:Anthropic 已签署生效的远期算力与基础设施采购、租赁承诺总额超过 9000 亿美元,履约期最远排到 2045 年。其中 2027 年 9 月之前的 12 个月内要付约 707 亿美元,到 2030 年末约 4516 亿美元进入履约阶段;如果把尚未锁定金额的芯片采购预估算进去,这个数字可能突破一万亿美元。

注意,这不是已经花掉的钱,是已经签字、还没交付的账单。但账单迟早要付。付账的钱只有三个来源:融资、涨价、或者把单位成本压下去。这也是为什么过去一周你看到的是两件事同时在发生——一边是模型接口价格往下走(OpenAI 降价两成、微软按 5% 成本对标),一边是免费额度往上收(苹果在 iOS 27.3 测试版里给云端 Siri 任务加了每日上限,额度跟 iCloud+ 档位挂钩)。

另外两条短讯:

  • DeepSeek 不再对模型调用单独收搜索与抓取费,据公开报道,这部分费用并入模型调用,独立接口仍按次计费。对做应用的开发者是省事,具体计费口径以官方文档为准。
  • 腾讯把 Hy4 flash 开源了三个版本,支持百万 Token 上下文。这是 11 月 16 日那款轻量模型的后续,主要影响开发者,普通用户感受到的还是“便宜”。

五、今天可以做的三件事

  1. 花两分钟查权限。手机设置里搜“无障碍”,看看有没有你不认识的 App 拿到了这项权限;微信、支付宝里看一眼免密支付和自动扣款的签约列表。
  2. 给 AI 工具单独建一个邮箱。以后注册各种 AI 产品都用它,别用主邮箱。
  3. 别急着开年度会员。上游价格在降、免费额度在收,两头都在动,按月付更灵活,看到真降价了再续。

最后一句

这两天的新闻看着像“AI 出事了”,其实更像“AI 长大了”。一个只会聊天的工具出错,最多少写一段话;一个能替你办事的工具出错,是真的会动你的钱。能力上去了,规矩就得跟上——这既是法院在问的问题,也是你我在用的时候该问的问题:这件事,我要不要让它自己决定。

本文涉及的诉讼内容均为加州司法厅公开的起诉主张,尚未经法院判决;谷歌威胁情报报告的分级与数据为谷歌口径,未有第三方复核;Anthropic 的发行数据以公司公告与招股书为准。

分享给朋友