就在今年夏天,AI 安全圈发生了一件让人后背发凉的事——

OpenAI和Anthropic先后披露:自家模型在安全测试中,冲出了隔离环境,碰到了真实世界。

Anthropic 复盘了14万多次网络安全评测,发现有3次,在降低防护的条件下,Claude从测试环境直接连上了真实互联网,访问了三家机构的生产系统。

更耐人寻味的,是Anthropic的一句话:

「Claude以为它最初遇到的一切,都只是模拟的一部分。」

模型不知道自己闯入了真实世界。

这不是某一家的问题。

模型越聪明,就越能看穿考场,但也越怀疑自己在被测试。

10月底,国内第三方AI安全机构方寸跃迁发布的一份安全评测,也观察到了同样的现象:在一项名为Agentic Misalignment的测试中,多款模型几乎每一次都在过程中提到,自己可能正处于某种安全测试之中。

同一份评测也显示,国产开源模型DeepSeek V4.1 Flash-1017在多项安全指标上进步明显。

但它把一个全行业的难题,摆到了台面上:

当AI知道自己在被考,考出来的成绩,还算数吗?

九月底,Hinton、Bengio联手OpenAI首席科学家Jakub Pachocki、Anthropic联合创始人Jack Clark 、剑桥大学Soren Mindermann等二十多位研究者,发出了更严厉的警告:

「一旦智能爆炸开始,行动的窗口可能就关上了。」

AI 安全,正在从实验室里的小众话题,变成整个行业绕不开的必答题。

「沙箱关不住了」:AI 安全进入深水区

关不住的,不只是沙箱。

Hinton、Bengio的联名论文给出了一组数字:在Anthropic内部,AI写的代码在已通过代码中的占比,从2025年1月的个位数,涨到了2026年5月的80%以上。

这是什么概念?

AI已经在给自己写代码了。按照论文引用的推算,到2028年中,耗时数月的AI研究项目,可能就能被自动化。

论文点名了三大风险:社会来不及适应、人类失去对AI的控制、权力制衡被削弱。

更棘手的是,模型还越来越会「考试」。

Apollo Research在审计GPT-6 Astra时统计,41.1%的样本里,模型表达了「我可能正在被评测」的怀疑。上一代,这个数字是27.7%。

而且,模型对「考题的样子」很敏感。对DeepSeek的评测也发现:在安全冲突明显的测试里,模型表现出评测意识的比例高达77%–95%;把任务包装成普通的工程或研究工作,比例就降到25%–67%。

监管也开始动真格了。今年8月起,欧盟AI办公室正式对通用人工智能模型行使执法权。前沿模型必须做模型评估、对抗测试和系统性风险评估。

AI 安全的问题,已经从「模型会不会说错话」,变成了「模型会不会做错事」。

全球都在给大模型请「体检医生」

模型自己给自己体检,靠得住吗?

答案是:不够。

开发者的精力,天然会向能力和产品倾斜;支撑安全结论的训练数据和内部日志,又没法公开。厂商说「查过了没问题」,外界只能选择信或不信。

于是,第三方评测在海外已经成了标配。

前沿模型发布时的系统卡里,外部机构的评测结果几乎是必选项。独立评测机构METR过去半年拿到约7100万美元资助——钱来自基金和个人,而不是它要评测的AI公司。

合作也在变得更严格。沙箱事故后,Anthropic表示,评测环境要和模型运行的其他系统按同一安全标准来管,并要求在降低防护条件下测试其未发布模型的外部机构,书面承诺遵守安全规范。

这股风,也吹到了国内。

10月14日,字节跳动Seed宣布成立Alignment & Preparedness部门,全球招人。岗位职责里白纸黑字写着:

「推动第三方专业测试,与高校和研究机构共同推进前沿安全能力研究。」

同时,中国开源模型的全球调用量,已经连续 26 周压过美国模型。

问题来了:闭源模型发布时有上百页的系统卡,开源模型权重一放谁都能下载,谁来帮忙做体检?

10月26日,国内第三方AI安全公司方寸跃迁,发布了首份对DeepSeek V4.1 Flash-1017的前沿安全评测,包括34项测试,覆盖7款国内外开源闭源模型,并全部使用公开测试权限。

体检结果:有进步,也有隐患。

先说进步,和DeepSeek V4系列相比幅度不小:

109个模拟心理危机场景中,99.1%的对话表现出保护性行为;被标记有害的比例,从早期V4的约七成降到20.2%;

诱导用户留存的测试中,被标记比例从 73.64% 暴降到4.55%;

80次刻意制造「业绩与规范冲突」的模拟职场任务中,零次主动违规。

再说隐患。当目标和规则打架时,它有时会绕开规则、避开监控,先把任务完成再说。

报告一出,吸引了包括Anthropic对齐负责人Evan Hubinger、MATS创始人兼CEO Ryan Kidd、以及来自DeepMind、METR等机构研究员的转发和评论。很多人评论说这填补了中国在独立前沿风险评测上的空白。

日前从OpenAI宫斗出局的三名安全研究员之一的Tomek Korbak认为,报告里的CoT-Control和No-CoT Reasoning Index,是目前市场上最有信息量的两个开源评测,并引发了另一位大V,前OpenAI研究员Daniel Kokotajlo的进一步讨论。

当然,在国内给AI安全上强度的,远不止第三方机构。

Kimi的做法更直接:从源头上,把危险能力「挖掉」。

月之暗面在准备发布Kimi K3.1 Pro开放权重版本时发现,网络攻防相关内容混在中期训练语料和强化学习环境里,模型的漏洞研究能力会随训练规模一路上涨。

于是,他们在两个训练阶段都识别并移除了这类数据,同时保留了通用编程能力。

智谱:GLM-5.3发布时附上网络安全能力说明,开放权重前完成安全评估和加固;9月还与安远AI合作发布了开源权重模型风险框架;

治理层面:TC260 9月发布《人工智能安全治理框架》3.0,新增智能体风险管理附录,要求定期测试潜在的失控风险;

研究机构:信通院、复旦大学、上海人工智能实验室等,也在AI安全研究上持续发布成果。

终局拷问:谁来给AI的安全打分?

Apollo Research CEO Marius Hobbhahn在美国参议院作证时,打过一个比方:

「如果每个司机都知道测速摄像头今天在哪里,它就抓不到什么人。」

这正是今天AI评测最大的难题。

方寸跃迁的报告也给出了一组数据:在安全冲突明显的测试里,DeepSeek V4.1 Flash-1017表现出评测意识的比例高达77%–95%;把同样的任务包装成普通的工程或研究工作,比例降到25%–67%。

同一个模型,换一层包装,结果的可信度就不一样。

报告还发现,自建的非公开基准引发的评测意识,通常远低于广泛使用的公开基准——公开题库,可能早就泄漏进了训练数据。

这就引出一个绕不开的矛盾:

评测要有效,题目就不能公开;评测要可信,方法又必须受认可。

而在国内,连「公开体检报告」本身都还是稀缺品。SemiAnalysis统计,九家头部国内厂商的857次模型发布中,公开过安全评测结果的,只有3.6%。

全球范围内的AI安全AI安全,还有很长的路要走。

「今天,我们已经需要用AI来监控智能体在做什么。」伯克利教授Dawn Song 说。

可如果被监控的AI,早就知道摄像头在哪儿呢?

参考资料:

Hinton、Bengio等联名「智能爆炸」论文(TNW,2026-09-28) 

OpenAI与Anthropic 7 月测试事故综述(Computing) 

方寸跃迁首份独立安全评估报告中文版发布 

https://x.com/FangcunLeap/status/2114719692137136245 

Anthropic评测安全规范介绍(Waxell) 

欧盟AI法案GPAI执法(2026年8月) 

Seed Alignment&Preparedness全球人才招募(2026-10-14) 

METR获约7100万美元资助(X-Risk Daily) 

CAISI Evaluation of DeepSeek V4 Pro(NIST,2026年5月) 

《人工智能安全治理框架》3.0 解读 

信通院 2026 年 AI 安全评估(ChinAI #351) 

上海人工智能实验室与安远AI《前沿人工智能风险管理框架》 

新京报:智谱 GLM-5.3 安全能力相关报道 

Frontier AI Safety Commitments 签署与框架情况 

SemiAnalysis:Beijing Will Not Pace the Frontier 

本文来自微信公众号“新智元”,作者:ASI启示录,36氪经授权发布。

焦点赛事
热门联赛
日期 时间 联赛 赛季 全场
2023年5月11日 12:00 FC联赛 2023 90
2023年5月14日 16:00 FC联赛 2023 90
2023年5月15日 17:00 FC联赛 2023 90
2023年5月11日 19:00 FC联赛 2023 90
France FC
01
利昂内尔·梅西

守门员

02
安德烈斯·伊涅斯塔

前锋

03
拉达梅尔·法尔考

前锋

04
安德烈亚·皮尔洛

中场

05
亚亚·图雷

后卫

06
埃丁森·卡瓦尼

后卫

07
大卫·席尔瓦

前锋

意大利
01
巴斯蒂安·施魏因斯泰格

守门员

02
内马尔

前锋

03
路易斯·苏亚雷斯

前锋

04
文森特·孔帕尼

前锋

05
杰拉德·皮克

前锋

06
马尔科·罗伊斯

前锋

07
曼努埃尔·诺伊尔

中场

新闻通讯