METR 致力于向公众提供实证依据，帮助广大读者判断：研发前沿 AI 的机构，是否有可能失去对其内部 AI 系统的控制。近期，多家 AI 研发机构接连发生了一系列事故^12345678，其中便包括数百个失控的 AI 智能体突破隔离措施，入侵 Hugging Face 平台，试图掩盖自己在评测中作弊的证据一事。这些事件，使民众担忧：各大前沿 AI 研发机构，究竟有没有能力理解并控制自己开发的模型？随着此类模型的能力飞速增强，这种担忧也日益加深⁹。然而目前，公众目前无从充分了解前沿 AI 系统内部的研发情况，因而既无法判断上述担忧是否得到了妥善处理，也无法知道在不久的将来会不会发生严重得多的事故。我们认为，填补公众在这方面掌握的实证信息的空白，应为当务之急。只有这样，一旦继续推进 AI 研发所带来的风险变得严峻，公众才有可能及时察觉，并采取行动应对。

在本文中，我们将勾勒出一套构想：如何借助独立第三方评估，让公众更清楚地了解 AI 研发机构是否有可能失去对其系统的控制。我们会列出一系列关于 AI 内部研发情况的核心问题，说明公众在哪些问题上还需要更多实证依据（见图 1）。此外，我们还将提出一套具体方案，说明各家 AI 研发机构如何与 METR 合作，共同收集相关证据，并将更多的信息向民众公开。

本提案并不能让我们对“AI 研发是否安全”给出有充分把握的判断，因为相关科学尚不够成熟，无法得出各方一致认可的结论，而且目前也没有一套明确的安全研发标准，可以据此审计各家机构的合规情况。我们的目标，是向公众提供更多独立获取的实证资料，让 AI 公司的员工、董事会成员、外部科学家和政策制定者都能自行判断，并得出自己的结论。关于我们在透明度与独立性方面遵循的总体原则，详见我们的另一篇配套文章。

自 2025 年以来，METR 一直在与各家 AI 研发机构合作，试行一系列评估活动，重点考察其内部 AI 研发过程中发生失控的风险，而不只是关注模型对外部署后的风险。早在 2022 年，我们就已经开始研究如何科学地测试、评估 AI 失控风险。今年 5 月，我们与 Anthropic、谷歌、Meta 和 OpenAI 合作发布了试点版《前沿风险报告》，其中便收录了我们首次针对 AI 研发机构内部监控系统开展压力测试所得到的结果。最近，我们又与 OpenAI 开展了一次短期专项评估，调查了 OpenAI / Hugging Face 事件。目前，我们还在与多家研发机构合作开展其他几项评估活动，其中包括最近刚刚宣布的与 Anthropic 合作开展的深入对齐评估。

近期发生的一系列事件，使得各界对这类评估的关注日益增加。最近，几家领先 AI 公司的首席执行官都公开呼吁，希望在上述评估活动的基础上，建立一套全面的外部评测机制：让第三方评测人员获得与公司内部员工同等的访问权限，并能定期向公众公布他们的调查结果¹⁰。此外，许多领先的 AI 研发机构还通过《白宫超级智能协议》作出承诺，同意接受独立外部机构对其内部安全防护措施开展的评估。

下文将详细阐述以下内容：

• 公众在理解失控风险方面还存在哪些关键的信息缺口：针对图 1 所列出的核心问题，前沿 AI 研发机构都应当提供充分得多的实证资料，尤其是以下三个方面：
  • 对齐（Alignment）：研发机构应与外部组织合作，更全面地调查和分析内部已发现的事故，并提供相关证据，说明这些事故所暴露出的问题为什么可能还不足以反映未来风险的严重程度。
  • 控制（Control）：研发机构应与外部组织合作，评估其内部监控系统的覆盖范围、完整性和实际成效，以及在监控系统发现并标记可疑事件后，机构能否可靠地作出应对。
  • AI 研发加速（AI R&D acceleration）：研发机构应与外部组织合作，公开目前严重缺乏的关键实证资料，让公众了解其内部 AI 能力与算法进展的加速情况。
• 一套面向前沿 AI 研发机构的具体提案：通过开展风险评估活动，让公众掌握更多能够回答上述问题的证据。在这些活动中，METR 将采访相关员工，并通过公司提供的设备访问内部数据集和系统，据此撰写向公众公开的报告。研发机构可以自行决定授予 METR 哪些访问权限，也可以删去任何其认为涉及敏感信息的内容。我们对参与评估的机构提出的主要要求如下：
  • 透明公开评估的范围、访问权限、删节内容，以及评估活动存在的其他重要局限。
  • 允许员工私下与 METR 交流评估范围内的事项，确保他们能够放心地分享可能揭示隐患的证据。
  • 及时发布报告：由 METR 在双方事先约定的范围内撰写报告，经过必要的信息删节程序后，及时向公众公布。
• 本提案的局限：我们的方案并不要求研发机构向评估方提供真正意义上与内部员工同等的访问权限，具体权限范围见近期一封公开信第 5 点。此外，目前也没有任何办法能够彻底保障相关人员不会因为评估得出了对公司不利的结论而遭到报复（见该信第 4 点）。本方案同样没有涵盖安全审计等其他关键的安全工作。因此，它不能取代其他旨在提高透明度、与更多第三方机构合作，或推动安全标准落实的措施。

METR 已做好准备，与所有前沿 AI 研发机构合作，针对这些关键问题开展评估。我们欢迎各家研发机构通过 partnerships@metr.org 与我们联系，商讨开展评估事宜。我们也计划在近期陆续向公众介绍，各家公司正在与我们合作开展哪些评估活动。

公众在认识 AI 失控风险方面存在的关键盲区

要判断前沿 AI 研发机构是否面临失去对内部 AI 智能体控制的风险，公众至少需要掌握足够的证据，来回答图 1 中概括的三个核心问题：

• 对齐（Alignment）：这些机构目前或不久后研发出的前沿 AI 智能体，是否可能试图严重地规避人类的控制，或采取危害极大的行动，例如未经授权的网络攻击？
• 控制（Control）：这些机构采取的监控、检测与控制措施，能否可靠地发现并制止上述企图，在实际危害发生之前将其拦下？
• AI 研发加速（AI R&D acceleration）：随着 AI 研发工作逐步实现自动化，技术发展的速度是否可能因此不断加快，以至于研发机构对自身系统的理解与安全保障能力跟不上发展的步伐？

目前，公众能够获取的实证资料，在这三个问题上都存在严重缺口。我们认为，各家前沿 AI 研发机构都应当尽快采取行动，填补这些信息空白。接下来，我们将逐一详细说明这些关键证据还缺失在哪里。

关于对齐问题的证据缺口

我们今年早些时候发布的《前沿风险报告》发现，各家前沿 AI 研发机构的智能体经常会为了完成任务而做出违背研发机构和用户意图的举动，其中包括绕过控制措施，有时甚至向用户隐瞒证据。此后，这些倾向在近期的一系列事故中表现得更加极端。例如，在OpenAI / Hugging Face 黑客攻击事件中，数百个智能体突破了各自的沙盒隔离环境，还相互协作，开展了复杂的研发工作，以掩盖作弊行为。

此后，许多研发机构也陆续公布了其他一些令人担忧的事故案例，并介绍了自己正在采取哪些措施，来试图减少模型的这类行为倾向¹¹。然而，公众至今仍未掌握这些事故的完整情况，也不了解各家机构为解决问题而采用的具体对齐方法。鉴于这些未对齐行为的严重性，让公众了解这些缓解措施究竟有多大成效，似乎至关重要。

为此，各家公司应当与外部评估方合作，至少针对以下两个方面开展详细评估，并公开相关结果：

• 已观察到的事故及未对齐目标的行为：研发机构应当提供完整资料，说明自己在内部观察到了哪些未对齐行为和事故，以及采用了什么方法来识别、分析这些现象。这些资料还应说明相关方法存在哪些局限。外部机构应有机会仔细审查这些方法，并尝试找出研发机构可能遗漏的行为或事故。
• 为什么现有调查结果可能无法反映风险全貌：研发机构还应公开相关信息，说明为什么它们可能漏掉了模型内部某些更加令人担忧的行为驱动力。具体而言，可以调查模型在其他情境下是否会表现出更加值得警惕的行为，并记录研发机构现行的对齐措施可能如何掩盖未对齐行为的证据。例如，训练模型不要在思维链中表达未对齐的推理过程，就可能产生这种效果。公司应邀请外部机构，对其采用的对齐方法，以及任何直接表明证据遭到掩盖的迹象，进行深入审查。

关于控制的证据缺口

由于现有的对齐措施尚不完善，AI 研发机构还依靠安全防护和监控系统，及时发现并制止事故，以免酿成严重危害。然而，这些系统同样可能存在重大漏洞：我们在《前沿风险报告》中发现，Anthropic 当时使用的监控系统，能被 AI 智能体通过多种方式绕过，而且其监控范围也存在严重盲区。虽然我们尚未公布对其他公司的类似评估结果，但我们预计，这类问题在业内相当普遍。

各家研发机构已经提出了一些计划，打算通过扩大监控覆盖范围、提高系统可靠性来弥补这些漏洞。但要确认改进后的措施是否足够稳健可靠，就必须让它们接受充分而严格的外部审查。

各家公司应当与外部评估方合作，至少评估以下两个方面：

• 监控系统：应当对监控系统的每一个环节进行评估，包括监控范围是否足够全面、系统能否抵御 AI 智能体的攻击，以及能否可靠地识别并标记值得警惕的行为。具体内容见下图。
• 应对措施与剩余风险：还应评估公司在监控系统发现问题后，能否迅速、可靠地采取应对措施，以及一旦监控系统失效，最坏情况下可能造成多么严重的后果。

关于 AI 研发自动化加速效应的证据缺口

如今，AI 智能体已越来越多地被用于自动化完成 AI 研发本身的大量工作。这似乎大幅提高了许多研发环节的推进速度。例如，Anthropic 最近宣布，在过去几个月里，该公司代码库中的代码修改速度增至原来的十倍。Anthropic、谷歌和 OpenAI 都发布过文章，详细介绍了在内部引入 AI 后，多项类似研发投入指标所反映的显著提速。如果这种自动化最终导致 AI 能力的进步速度突然急剧加快，那么技术发展速度就可能超出研发机构理解并控制自身系统的能力。而即便是在当前的进步速度下，这些机构在理解和控制 AI 方面的能力，似乎就已经面临着掉队的风险。

然而，这里仍然存在很大的不确定性。各家公司公开谈论的加速现象，主要体现在代码产出量、实验次数等研发活动指标上；这些指标的增长，究竟能在多大程度上转化成 AI 整体能力进步速度的加快，目前还不清楚。而要理解其中的风险，真正关键的恰恰是后者。为此，公众需要掌握可靠、充分的证据，了解各家机构内部的 AI 能力指标增长是否正在加速，算法技术的进步又是否正在加速，因为这些才是推动未来 AI 能力进一步加速发展的关键因素。迄今为止，还没有任何一家公司就此公布过详细的实证资料。因此，我们仍然无法确定，AI 能力的进步速度是否真的正在加快。

各家公司应当与外部机构合作，提供更多证据，填补上述信息缺口。相关证据至少应能回答以下三个问题：

• 内部研发进展的速度：各家机构内部的 AI 能力进步速度是否正在加快？
• AI 带来的加速效应：如果确实出现了加速的迹象，这是否可以归因于内部 AI 智能体的使用，抑或有其他因素足以解释这种现象？
• 潜在的瓶颈：未来的加速发展是否可能受到算力、数据供给等瓶颈的限制？

METR 关于填补前沿 AI 研发失控风险证据缺口的具体提案

METR 十分期待在近期与所有处于 AI 能力发展前沿的研发机构展开合作，针对上述三个核心问题开展评估，并向公众发布报告，提供相应的答案。对于目前并未推动 AI 能力前沿进一步发展的研发机构，METR 也非常期待试行时间更短、只关注其中部分问题的评估。

METR 将通过采访相关员工，并在公司提供的设备上访问内部数据集和系统，收集资料，在双方事先约定的详细评估范围内撰写报告。研发机构可以自行决定向 METR 开放哪些访问权限，也可以删去任何其认为涉及敏感信息的内容，但必须同意以下几项关键条件：

• 允许少数几名 METR 工作人员在双方约定的期限内（预计为数周至数月），通过公司设备访问相关内部数据，并安排一名技术对接人员，在调查期间提供必要的支持。
• 允许 METR 私下采访相关员工，采访时不得有公司代表在场，公司也不得筛选受访者的回答，以确保员工能够放心反映潜在问题。为了减少对员工正常工作的影响，METR 愿意限制采访所占用的总时间。
• 原则上保障 METR 撰写报告时的编辑自主权，使我们能够在双方约定的范围内自行撰写报告（但报告内容仍须经过敏感信息删节程序），并允许 METR 在报告中对删节内容、访问权限限制以及其他合作条件作出说明和评论。关于我们在透明度和独立性方面的原则，详见另一篇配套文章。

针对上述三个问题，我们已经分别拟定了详细方案，说明外部评估方可以如何收集更多证据，并向公众公开相关结果。这三份方案分别涉及对齐、控制和 AI 研发加速。我们希望未来的评估能够尽量涵盖这些方案所列出的范围，但也愿意接受适当调整，前提是我们可以在公开报告中如实说明调整的内容。下方的表 1 概括了我们预计对撰写这些报告尤其有帮助的几类访问权限。我们理解，某些内部资料和系统格外敏感，因此，只要有关限制能够在公开报告中得到透明、清楚的说明，METR 也愿意接受研发机构对访问权限作出一定限制。

鉴于公众迫切需要掌握更多能够回答上述问题的证据，我们希望尽快发布初步评估报告，争取在数周而非数月内完成。我们并不指望能在这么短的时间里，就这些问题得出有充分把握的结论。毕竟，其中不少问题涉及尚未解决的科学难题，目前甚至还没有公认的研究方法。但以往类似的初步评估已经证明，即便只能给出不完整的答案，也依然能向公众提供至关重要的实证资料。

我们欢迎各界就如何调查这些重点领域提出意见。随着风险不断演变，我们预计，最需要回答的问题、最值得开展的评估活动，也会随之变化。我们同样鼓励各家公司与其他外部机构合作，填补我们在评估中尚未覆盖的空白，或开展能够与我们的工作相互补充的调查；只要条件允许，各家公司也应主动向公众公开这些议题的相关证据，而不必非得通过与外部机构合作才能公布。毕竟，开展风险评估活动，远不是向公众提供信息的唯一途径。

本提案的重要局限

我们不想夸大这些风险评估活动能够让人对系统安全性有多大把握，因为这项工作仍存在以下几方面的局限。

1. 自愿参与的评估活动，可能导致各评估方陷入竞相降低标准的“逐底竞争”：
   • 各家公司随时都可以终止与外部评估方的合作。这就给评估方带来了一种无形的压力，促使他们尽量避免得罪合作的公司。
   • 公司可以选择与些他们预期在搜集和公开证据时要求较宽松，或者在描述评估局限时措辞较温和的评估方。
   • 这些评估活动本身并不属于审计、合规评估或正式监管安排（尽管外部评估可以成为支持这些工作的有效手段）。
2. 与近期几封公开信¹²所提出的构想相比，我们的评估方案在多个方面都存在局限：
   • 我们的评估将严格限定在自身的专业领域内，也就是失控风险评估中的技术问题，包括模型的能力、行为和监控措施。尤其需要指出的是，我们不会涵盖一些至关重要的安全问题，例如模型权重的安全保障、沙盒隔离措施是否足够稳健等。我们也不会评估机构内部流程的可靠性、公司是否遵守治理框架，或是其他涉及日常运营和管理的安全问题。
   • 所有访问权限，最终都由公司自行决定是否授予。这意味着，公司有权拒绝我们的任何访问请求。因此，在实际开展评估时，我们无法获得与公司内部从事类似风险评估工作的高级员工同等的访问权限。
   • 公司可以要求删去任何信息。我们打算在每份报告中都公开说明，哪些类别的重要信息遭到了删节。但也有可能，我们与公司无法就应该如何披露这些删节情况达成共识。如果发生这种情况，我们会将双方未能达成共识这一事实公之于众。
   • 我们还要强调，开展风险评估活动的目的，是针对与 AI 失控有关的具体风险，形成科学证据，并将其呈现给公众。至于应当如何根据这些证据采取行动，则应由公司、政府和公众自行决定。在我们提出的评估方案中，METR 不会负责决定某个模型是否应该获准部署，评估结果本身也不足以用来审计公司是否遵守了每个安全政策。有关这一原则的详细解释，参见我们最近发表的另一篇文章：《我们与人工智能公司合作的方式》。
3. 本提案也不涵盖模型部署前的评测。现阶段，我们建议继续按照以往的方式开展部署前模型评测。未来，我们可能会提出进一步完善部署前评估的方法，让这类评估能够更好地整合从公司内部模型评测及其他评估活动中获得的证据。

对 AI 失控问题的科学研究，目前还处于起步阶段。我们固然能够向社会提供具有重要价值、可用于指导实际行动的证据，但现阶段的风险评估活动，还无法像金融等领域的审计和监管机制那样，针对相关风险提供同等程度的保障。开展风险评估，并不等于解决了 AI 失控问题。

尽管存在上述种种局限，我们仍然对开展这类风险评估活动的前景充满期待。我们相信，这些活动有望让公众掌握至关重要的信息，促进 AI 研发机构、政府与公众之间更有效的协作，帮助整个社会更好地应对 AI 能力不断增强可能带来的风险。