有据可查的 AI 新闻、模型与产品English
新闻文章社会

AI 公司把对话转给警方的门槛,这一年降低了

OpenAI 当年没把加拿大校园枪手被封的 ChatGPT 账号报给警方,被起诉后改了标准:用户不必说出目标和时间也可能报警。Anthropic 9 月把一名佛州女子当日记写下的威胁转给警方,她被以重罪起诉。把几家规则原文放在一起,国内法规的报告义务范围最宽。

9 月 26 日,佛罗里达州博尼塔斯普林斯一名 30 岁女子在 Claude 里写,她要去李县警长办公室「开枪扫射」。第二天她又写,自己弄到了一把新枪。据当地电视台 WINK 转述的逮捕报告,Anthropic 的安全系统标记了这些话,因为内容严重,交给人工审核团队,审核员随后报了警。警员找到她时,她说自己把 Claude 当日记用。她现在被控以书面形式发出暴力威胁,在佛州属二级重罪。

佛州这条法律禁止发送威胁杀人或制造枪击的文字,前提是发送的方式「可能被他人看到」。这一次,看到这段文字的是 Anthropic 的审核员。

这不是 Anthropic 第一次报警。据《旧金山标准报》,8 月有用户在 Claude 里写自己买了一支 AR-15 步枪,瞄准了 Anthropic 首席执行官达里奥·阿莫代伊,公司向旧金山警方报告了此事。用户事后说是开玩笑,报道发出时没有被捕。Anthropic 发言人称,这是「我们的保障流程在按设计运行」。

八个月前,OpenAI 选择了不报

2026 年 2 月 10 日,加拿大不列颠哥伦比亚省小镇塔布勒岭,一名 18 岁枪手先杀死家中两人,再到中学开枪,5 名 11 到 13 岁的学生和 1 名教职员遇难,27 人受伤。

这个人的 ChatGPT 账号 2025 年 6 月就被 OpenAI 封了。OpenAI 2 月 26 日写给加拿大人工智能部长的信里说,当时是自动系统发现了这个账号,转给人工审核,审核后「没有发现可信且迫在眉睫的计划,达不到我们向执法部门转交的门槛」。受害者家属的律师称,有 12 名 OpenAI 员工曾力主报警。OpenAI 首席执行官萨姆·奥尔特曼 4 月在当地报纸上道歉:「很抱歉我们没有就 6 月封禁的账号通知执法部门。」9 月,该省在旧金山联邦法院起诉 OpenAI 和奥尔特曼,除了索赔,还要求法院责令它改变识别和处理暴力威胁对话的方式。

OpenAI 的标准,一年里三种写法

把 OpenAI 三份公开文件放在一起,能看出线往哪边挪:

  • 2025 年 8 月,博客《在人们最需要的时候帮助他们》:审核员认定对他人有迫在眉睫的严重人身伤害威胁时,「可能」转交执法部门;自伤的情况「目前不转交」,理由是对话的私密性。
  • 2026 年 2 月 26 日,致加拿大部长的信:标准改得「更灵活」,因为用户可能不会在对话里说出目标、手段和时间,但仍可能有迫在眉睫的暴力风险;按新标准,6 月那个账号「如果今天发现,我们会转交」。
  • 2026 年 4 月 28 日,《我们对社区安全的承诺》:对话显示对他人有迫在眉睫且可信的伤害风险时,「我们会通知执法部门」。

从「可能转交」到「会通知」,从要看到具体计划到不必说出目标和时间,门槛明显降低了。4 月那份文件没有再提自伤不转交那句话,也没说这一条改没改,只写了少数情况下会提醒青少年的家长,以及将推出「可信联系人」功能。

三家规则原文

公司 写明会主动交出用户信息的情形
OpenAI 对话显示对他人有迫在眉睫且可信的伤害风险(4 月《社区安全》页)
Anthropic 善意认为披露对「防止任何人或财产受到严重伤害」合理必要(隐私政策);警方来要数据时,一般要有传票或搜查令,紧急情况例外,通常会通知用户(政府请求政策,3 月 16 日版)
豆包 「与刑事侦查、起诉、审判和判决执行等直接相关的」,以及紧急情况下保护生命财产安全,可不经同意提供个人信息(隐私政策 3.4 条,9 月 17 日生效)

国内还多一层法律义务。《生成式人工智能服务管理暂行办法》第十四条规定,服务提供者发现使用者利用服务从事违法活动的,应当采取警示、限制功能、暂停或终止服务等措施,「保存有关记录,并向有关主管部门报告」。美国两家写的是对他人的暴力威胁,而且是公司自己判断后「可以」或「会」报;国内条文写的是所有违法活动,而且是「应当」。

OpenAI 在给加拿大的信里承诺,会对向执法部门转交的情况保持透明。截至 10 月 25 日,我们没有在它的网站上找到转交次数。

被标记之后,会有人读

OpenAI 和 Anthropic 公开的流程大同小异:自动系统先筛,被标记的对话交给真人看,人来决定封号还是报警。佛州案里的那段文字,用户当作日记,在 Anthropic 的流程里是一条被标记的威胁。

两起事件放在一起,方向是一致的:加拿大的诉讼和道歉之后,「该报没报」的代价摆在了明处,两家公司的线都在往多报的方向挪。这意味着,说出口的气话、写给自己看的狠话,一旦被系统标记,都可能有一个陌生人读到,并按「可信的威胁」来判断。佛州那名女子的案子还在审理中,她是否有罪由法院决定。

来源

  1. WINK News · Woman arrested after AI threat against Lee County Sheriff's Office
  2. Florida Statutes · 836.10 Written or electronic threats
  3. Decrypt · A Florida woman used Claude as a diary (2026-10-05)
  4. San Francisco Standard · Anthropic reported a Claude threat to SFPD (2026-09-04)
  5. Anthropic · Privacy policy
  6. Claude Privacy Center · Policy for governmental requests for user information
  7. OpenAI · Helping people when they need it most (August 2025)
  8. OpenAI · Letter to Minister Evan Solomon (2026-02-26)
  9. OpenAI · Our commitment to community safety (2026-04-28)
  10. Al Jazeera · Canadian province preps OpenAI lawsuit (2026-07-07)
  11. TechSpot · British Columbia sues OpenAI and Sam Altman (2026-09-22)
  12. 豆包 · 隐私政策
  13. 国家网信办 · 生成式人工智能服务管理暂行办法