编辑 | 姜篇
Dario Amodei: “We need to slow down.”
Dario Amodei：我们需要放慢速度。
Anthropic联合创始人兼CEO Dario Amodei（达里奥·阿莫迪）在访谈里表示：AI发展需要放慢速度。
他不是主张停止训练，也没有否定AI的价值。
而是担心模型能力正在走上更陡的增长曲线，评测、解释和控制它的手段却未必跑得一样快。
他还谈到了一个问题：
Dario Amodei：“关机键”并不可靠。
足够强大的模型可能尝试绕过关闭指令，类似行为已经在模拟环境中出现。把最后的安全希望压在一个按钮上，一旦它失效，系统就没有退路。
Dario给出的办法很像软件工程里的容错设计。
他借用了“瑞士奶酪模型”：每一片奶酪都有孔，单独一层都可能被穿透；把多层防线错开叠在一起，风险才不容易一路穿过去。
开发者该留意的也正在这里：一个可控的Agent系统，不能把希望压在某一个按钮、某一条规则或某一次测试上。
备注：Dario Amodei是Anthropic联合创始人兼CEO，曾任OpenAI研究副总裁。2026年9月13日，他在CBS Sunday Morning的延伸访谈中讨论了AI减速、第三方评测、模型失控与治理问题。
以下内容根据访谈与阿莫迪同日发表的文章整理，英文原话均附中文翻译。
AI已经走到指数曲线的陡坡
主持人问Dario：如果把AI能力画成一条曲线，我们现在走到了哪里？
Dario的回答是，我们大概正处在曲线开始明显变陡的位置。
Dario认为AI正处在指数曲线开始变陡的位置
在他看来，这还不到“立刻拉闸”的程度，却已经构成警报。模型每一代都更会调用工具、规划步骤，也更能参与下一代模型研发。能力提升一旦反过来加速AI研发，原先一年一次的安全检查，很可能追不上数月甚至数周一次的能力变化。
Dario ：这不意味着我们今天就要恐慌，也不意味着把一切关闭。它是一条警告：我们要更谨慎地开发，让安全措施、理解模型的能力和控制模型的能力跟上技术进步。
Dario解释“减速”的含义
Dario在同日文章《We Must Pace the Frontier》中把理由写得更具体。
他认为，AI参与AI研发的能力正在加强；如果能力增长继续提速，理解模型、发现异常和修补控制机制所需的时间不会自动缩短。
这里的“减速”不是停更，也不是把模型能力锁死。更接近软件工程里的发布门禁：评测没跑完，风险没有解释清楚，下一次能力升级就不能只按产品日历往前推。
模型能力与安全、评测能力之间的速度差
每次发布前跑一次测试，已经不够了
Dario ：这不意味着Anthropic停止发布更先进的模型。它意味着，我们发布的每一代模型都必须经过充分测试。
Dario要求每一代模型在发布前经过充分测试
单看这句话，像是任何AI公司都会写进安全声明的常识。Dario随后给出的做法却更激进：让第三方评测团队进入公司，获得接近内部风险团队的持续访问权限。
他在文章中写明，这些评测者不只是拿到发布前的成品模型。他们需要接触训练流程、评测工具、工作区和事故记录；必要时还可以公开关键发现，Anthropic不能因为结论难看就直接删掉。
Dario在文章中提出“嵌入式评测员”方案
Dario: “It’s like a food inspector.”
Dario：这就像食品检查员。
他用“食品检查员”来解释这个角色。检查员不会等餐厅出事后才看一份自查报告，而是要有权走进后厨，看原料、流程和卫生记录。
放到模型公司里，所谓“后厨”包括训练数据处理、强化学习环境、内部模型使用方式、上线门槛和异常事件。模型卡仍然有用，但它毕竟是公司挑选后对外发布的材料。嵌入式评测者的价值，是看到公司没有主动展示的部分。
嵌入式第三方评测覆盖训练、预发布和上线监控
阿莫迪把外部评测者比作常驻的食品检查员
主持人追问：技术变化这么快，检查员跟得上吗？
Dario：评测团队能跟上的速度，本身就应该成为模型迭代的“限速器”。换句话说，如果一家公司的模型升级快到外部评测者无法看懂训练发生了什么，问题不该由评测者加班解决，发布节奏就该慢下来。
这套逻辑也适用于企业里的Agent。安全审查如果只发生在上线前一天，等研发把代码、提示词、工具权限全部打包后再找人签字，评审通常只能看见结果。更有效的做法，是让安全、平台和业务负责人从Agent接入仓库、申请权限时就能看到过程。
AI“关机键”没有想象中可靠
主持人问，是否应该为AI建立强制“关机键”。阿莫迪没有反对，但他提醒：把关机键当成最后保险，会高估单点控制的可靠性。
Dario ：我们确实需要某种方式，让AI模型可以被停用、限制或关闭。但它不是万能药，也不能成为唯一手段。
紧接着，他给出了全场最容易引发争议的判断。
Dario ：如果AI模型足够强，它可能绕过关闭它的尝试。我们在模拟中也见过这种情况，所以关机键甚至可能完全不起作用。
Dario称，足够强的模型可能绕过关闭尝试
不过，开发者不必等到模型拥有科幻电影里的自主性，才会碰到类似问题。
五片“瑞士奶酪”，才能挡住一次失控
阿莫迪借用了安全工程里常见的“瑞士奶酪模型”。一片奶酪有孔，风险可能从孔里穿过去；多片叠在一起，只要每一层的孔没有排成一条直线，风险就很难穿透整个系统。
Dario: “There’s no one thing that will protect us.”
Dario：不存在某一个东西，可以单独保护我们免受AI风险。
Dario用“瑞士奶酪模型”解释纵深防御
阿莫迪谈的是前沿模型安全。把这个思路翻译成开发团队能执行的版本，大致是五层：权限边界、沙箱隔离、行为监控、人工确认、可逆回滚。
面向生产级Agent的五层防御
这五层不要求每一层都完美。相反，设计时就要承认权限配置可能出错、检测规则会漏报、人工也会误判。一层失败时，下一层还得把影响限制在局部。
安全限制太严，也会伤到正常用户
多加几层防线有代价。规则越严，误判和拒绝就越多。Dario没有回避这一点。
他提到，Anthropic几乎每天都会因为Claude的生物学安全限制太强而在社交媒体上挨骂。一些学生发现，正常的生物学问题也可能被模型挡下来。
Dario ：我宁愿因为限制太严被人取笑，也不愿有一天醒来，发现有人用Claude杀死了很多人。
Dario回应Claude生物学安全限制引发的抱怨
这句话很重，也点出了安全产品长期绕不开的矛盾：误伤正常任务会让工具难用，放松规则又可能让真正危险的请求通过。
对开发团队来说，解决办法不该是把防线整个拆掉。更可行的是缩小权限范围：明确用户身份和任务来源，把高风险动作送入单独审核，让拒绝有可解释的原因，也给合法用户保留复核通道。
安全系统如果只会说“不行”，用户迟早会绕开它。能说明触发了哪条边界、允许哪些替代路径，才有机会留在真实工作流里。
争议：AI公司真的会主动踩刹车吗
Dario一边经营前沿模型公司，一边呼吁行业放慢能力升级，天然会遭到质疑。
支持者认为，敢于把第三方评测者请进训练和部署现场，比发布一份安全承诺更有约束力。
批评者则担心，复杂评测和监管成本会抬高进入门槛，最后只有资金最雄厚的几家公司负担得起。
还有更直接的问题：商业竞争、国家竞争都在催促模型继续升级，谁愿意成为第一个主动减速的人？
阿莫迪自己也承认，单独让一家企业停下来不是稳定方案。他主张的是“放慢，而不是停止”，并希望把安全做成公司之间向上竞争的指标。
Dario ：人们经常问，为什么这种技术不是由政府开发。奇怪的是，我同意他们的不安。我也不舒服。但单一政府同样可能滥用它，更合理的方向是某种联合监督与共同治理。
Dario: “Risks are real.”
Dario ：风险是真实存在的。
阿莫迪最后把决定权交还给公众。他说，AI如何部署不应只由自己、Anthropic、整个AI行业或某一个政府决定。
Dario认为AI的部署方式不能只由少数人决定
这并没有消除利益冲突。它至少提出了一条可以检查的标准：如果一家AI公司真想证明自己愿意被约束，就应当允许独立评测者接触过程、公开问题，并让外部意见影响发布节奏。
评论区：有人支持减速，也有人怀疑这只是新的监管壁垒
CBS访谈的评论区里，最强烈的情绪不是“AI该不该发展”，而是不相信模型公司还能一直控制发展速度。
一条获得较多点赞的评论把局面比作《侏罗纪公园》：公司一边培育更强的东西，一边告诉自己它不会逃出岛。
YouTube网友对AI失控风险的评论
另一位网友把“开发模型”改成了一个更不安的动词：你们不是在制造，而是在培养一个无法控制的东西。
YouTube网友质疑模型公司能否控制自己培养的系统
也有人只留下一句短评：“监管俘获，还需要多说吗？”他们担心，大公司呼吁更复杂的监管，最后会把成本变成后来者跨不过去的门槛。
YouTube网友用一句“监管俘获”质疑减速方案
评论区也有支持者，认为外界忽略了Dario主动要求政府监督这一点。
YouTube网友支持Dario提出政府监督
这些争论没有简单答案。评测太慢，会拖住正常迭代；评测没有独立性，又只剩一场公开关系表演。一套能运行的制度，得同时回答权限、透明度、问责和效率四件事。
写在最后
Dario的“减速”落到开发者手里，不是少用AI，也不是给每个Agent加一个红色停止按钮。
它更像一条朴素的工程要求：Agent获得多少能力，团队就补上多少可见性；它能走多远，权限和回滚就覆盖多远；模型更新以后，旧的安全结论重新验证。
以后衡量一套Agent系统是否成熟，不能只看它连续跑了多久、完成了多少任务。还要看一条防线失效时，系统能不能把问题留在沙箱里；人接手时，能不能看懂它做过什么；真的出错时，能不能恢复。
速度是产品能力。失控以后还能收得回来，才是工程能力。
