删节说明:在本次评估中,Anthropic 有权对本文中的任何非公开信息进行删节。依照我们的信息透明原则,我们有权在本文中披露 Anthropic 是否行使了删节权,以及我们的调查结果是否在重大程度上依赖于被删节的信息。虽然我们得以自由分享关于风险的最高层面结论,但对于我们认为最能支撑这些结论的证据,Anthropic 删节了其中的大部分内容。Anthropic 将这些删节描述为“旨在移除可能让其他 AI 开发者加快研发进程的机密信息”。1 其中一些被删节的内容本身就难以明确描述,因为一旦说明,就可能会泄露我们被要求删节的敏感信息。我们在下方的流程详情一节中列出了一张表格,说明了在删节限制之下我们能够讨论(和无法讨论)的重要证据。所有对我们结论有重要影响的删节,均已在该表的说明或下文报告中的行内说明中予以涵盖。

我们查阅的许多被删节证据都存在多种合理的解读方式;对于如何将这些证据综合成一个完整的全貌,METR 和 Anthropic 的研究人员都存在很大的不确定性。由于删节限制,公众难以自行评判这些证据,将其与其他来源的证据相互印证并得出自己的结论(也就是说,本报告未能实现“证据层面的透明度”)。因此,考虑到本报告所解答问题的分量,公众对 METR 判断的依赖程度不得不远超理想情况。

执行摘要

2026 年 8 月 12 日至 10 月 29 日,METR 工作人员在 Anthropic 开展了一次高权限评测,以衡量人工智能系统能在多大程度上帮助加速 AI 研发。2 如果 AI 系统开始显著加速后续的 AI 研发,可能会导致AI突然拥有极端且高风险的模型能力。

Anthropic 提供了对其 AI 研发流程内部数据前所未有的访问权限,这些数据包括关于预训练、强化学习(Reinforcement Learning)及各领域训练算力的多种指标,以及内部模型的基准评测得分、AI 加速分析、未来模型指标预测,还有相关员工的访谈。

在第一部分中,我们会分享我们对风险的主观结论。我们现在认为:

  • 截至 2026 年 10 月,Anthropic 在定义明确的任务上提升其模型能力的速度,很可能是 2024 年 3 月至 2025 年 10 月期间的两倍左右。这一估计的不确定性很高;如果实际的加速幅度更接近历史水平的 1.3 倍或 3 倍,我们也不会感到意外。
  • Anthropic 广泛使用人工智能辅助 AI 研发,很可能是当前这种加速的大部分成因。不过其中存在很大的不确定性,而且在 2025 年末,其他因素很可能也在加速过程中发挥了重要作用。
  • 由于尚未观察到研发瓶颈或明显的边际收益递减现象,未来人工智能效力的进一步提升,可能会引发更剧烈的 AI 研发加速,而这风险重大;不过,正如我们在下文所述,我们可能遗漏了一些重要的开发瓶颈。

在第二部分中,我们会分享完整报告中的一些主要发现:

  • 自 2025 年 10 月以来,Anthropic 模型的基准测试得分(衡量方法为 AECI,即 Anthropic 版本的 Epoch 能力指数)估计以 2025 年 10 月前速度的 1.9 倍增长(95% 置信区间为 1.5–2.8 倍),这意味着 Anthropic 在过去一年里大约取得了两年份的进展。
  • 我们有把握认为,这种加速并非来源于训练算力规模扩张的提速。
  • 访谈和问卷调查的结果与“运用人工智能系统辅助 AI 研发,能让模型能力的进步速度翻倍”这一情况相符。Anthropic 员工在访谈和问卷中的自我报告表示,使用人工智能系统给 AI 研发速度带来了巨大的提升,尽管这些信息难以准确解读。据了解,研发工作的加速主要得益于人工智能的辅助,而非来自人工智能“完全自主”的贡献;不过,已有迹象表明,完全自主的贡献会在不久的将来发挥更大的作用。
  • 以现有证据来看,无论是源于算法进展的限制,还是训练算力、实验算力,或是数据方面的限制,我们都没有找到任何会在未来的 12 个月里阻碍模型能力提升的显著瓶颈。不过,随着掌握的详细信息不断增多,我们对这些潜在瓶颈的判断已多次改变。因此,我们对目前的评估并没有把握。

一些让我们形成最终风险结论的、最关键的依据,也已被 Anthropic 删节。

在第三部分中,我们介绍了流程详情:

  • 本次评估的范围、设置、时间线
  • 与 METR 共享信息的细节
  • 我们由于 Anthropic 的删节而无法共享的信息和依据的详情

最后,我们说明了本次分析最大的评估局限:

  • 如果我们没有充分重视以下几点,就可能低估模型能力提升的加速程度:一、有证据表明,某些增长率近期进一步上升;二、AI 研发任务的进一步自动化可能带来进展的进一步加速;三、有证据表明,AECI 的增长有时低估了现实世界影响的增长。
  • 如果我们没有充分重视以下几点,就可能高估了能力加速的程度:一、Anthropic 研究进展中的非 AI 因素;二、AECI 对于可验证任务的侧重;三、Anthropic 早期(2023–2025年)增长率异常低的原因。

报告其余部分将对各个关键组成部分展开详细讨论。我们还提供了包含补充材料的附录。

我们关于风险的主观结论

我们关于风险的结论

除本次评估之外,METR 还独立发表了 2026 年 10 月的一篇文章,文中提出了一系列关于 AI 研发加速的宏观问题。我们认为,公众只有理解这些问题,才能判断前沿 AI 开发带来的失控风险。本节将说明,我们在本次评估中所审查的证据,如何改变了我们对这些宏观问题的主观结论。

模型能力提升速度

如果 Anthropic 的整体研发进展显著提速,我们会对此感到颇为意外。原因在于,随着边际收益递减,以及研发进展对算力扩张的依赖,要实现这样的加速,很可能需要在其他投入上显著扩大规模。3 在审阅内部证据后,我们仍然认为存在相当大的不确定性,团队成员之间也尚未达成一致。不过,目前参与这项研究的大多数 METR 员工倾向于认为,截至 2026 年 10 月,Anthropic 在“定义明确的任务”上提升能力的速度,很可能是 2024 年 3 月至 2025 年 10 月期间的两倍左右。如果当前增速更接近历史水平的 1.3 倍或 3 倍,我们也不会感到意外。至于这种加速如何体现在更宽泛、定义不那么明确的任务上,我们仍然存在更大的不确定性。

如下文所述,自 2025 年 10 月以来 AECI 趋势的 1.9 倍加速(95% 置信区间为 1.5–2.8 倍)对这一判断有重要影响;但其也可能是对基准测试分布过拟合的结果,或是 AECI 方法本身所造成的某种偏差。另一方面,我们无法确信 AECI 能可靠地估计近期的研发加速情况,因为相关数据点滞后于研发加速进程,且较为稀疏。

除 AECI 证据外,我们还看到了一些经过删节处理的证据,它们极大影响了我们对这个问题的看法,也让我们更认真地对待这种表面上的约 2 倍加速。这些证据还暗示,加速幅度可能超过 2 倍,而且可能正在随时间推移而增加。不过,如果加速幅度显著高于这一水平,我们会感到意外。

可归因于 AI 的部分

为了解释我们所观测到的研发加速,我们考察了多种因素,包括:算力扩张、人员招聘、数据改进、算法发现、对其他瓶颈问题的解决。

如下文所述,我们能够确定,这种研发加速并非源于训练算力增速的加快。除此之外,Anthropic 自己的员工也未达成共识,我们同样也没有找到决定性证据。我们的总体主观估计是:

  1. 2025 年末的加速很可能受到非 AI 因素的影响。我们调查了多种可能导致 2025 年末出现上述加速的因素,但其中许多因素的详情已被删节。
  2. 我们猜测,当前(2026 年 10 月)的研发加速大部分(或许约 80%)都是人工智能辅助研发所致。这一判断存在相当大的不确定性,但它是基于关于人工智能及其他因素贡献的多方面证据得出的。我们认为,人工智能的贡献随时间推移变得相对更重要,而且我们所调查的其他因素无法解释这种持续的研发加速。如我们在下文中所述,由使用人工智能所带来的提速证据,似乎也与“贡献巨大”这一观点相契合。

我们在下面说明这几点:

示意图(非真实数据):2024 年至 2027 年的 AECI。2025年10月之后,观测到的趋势(包含 AI 影响)高于“无 AI 影响”的最佳预估趋势,而后者又高于历史趋势。观测到的趋势与“无 AI 影响”的趋势之间的差距标注为「AI 带来的超额增长」;“无 AI 影响”的趋势与历史趋势之间较小的差距标注为「非 AI 因素带来的超额增长」。图中箭头标出了 2026 年 10 月观测趋势的斜率(ΔAECI / Δtime)。

我们针对人工智能对 Anthropic 在 AECI 领域(以及模型训练流程各阶段)的进展速度所产生的累积效应与即时效应,给出了更为详细的估算,但这些内容已被 Anthropic 删节。

进一步加速的瓶颈

一个关键担忧是:随着能力更强的模型被开发出来,使用人工智能协助研发带来的加速可能开始产生复利效应。如下文所述,我们没有发现任何明确的瓶颈(即投入受限,从而阻碍进一步增长),也没有发现能够妨碍这种复利式加速的、针对进一步扩张会遇到的严重的收益递减效应(尽管在本次评估过程中,我们的认识经历了多次变化、且仍存在很大的不确定性)。因此,我们认为存在重大风险:未来一年中,模型能力的进一步提升可能导致更快的加速。

主要发现

在本节中,在不泄漏删节信息的前提下,我们将总结《完整报告》中的主要实证发现(关于哪些内容被删节,详见流程一节)。

术语说明:我们用年度倍数来描述增长,用增长率之比来描述加速

我们所说的“加速”,指的是增长率的提高:2 倍加速意味着,按历史水平需要 2 年才能取得的进展,如今 1 年就能完成。

如果 AECI 的历史趋势是每年 15 分,那么提高到每年 30 分就意味着加速率为 2(按历史速度要 2 年才取得的进展,现在 1 年即可完成)。对于呈指数增长的变量,加速率就是增长率之比。如果一个变量每年增长到原来的 3 倍,那么要在 1 年内取得原本 2 年的进展,增长率就必须达到 (3²) 倍/年 = 9 倍/年(加速率可写作 ln(9) / ln(3) = 2)。

自 2025 年 10 月起,内部模型的基准测试得分一直以约两倍于历史水平的速度增长

以 AECI(即 Anthropic 版本的 Epoch 能力指数)衡量,Anthropic 各模型的基准测试得分自 2025 年 10 月以来的增速达到此前的 1.9 倍(95% 置信区间为 1.5–2.8 倍)。换句话说,Anthropic 过去一年在基准测试上的进展,似乎与 2023 年 10 月至 2025 年 10 月这两年间的进展相当(大致相当于从 Claude 2.1 到 Sonnet 4.5):

Anthropic 各模型快照的 AECI 得分(按各版本向多数 Anthropic 员工开放使用的日期排列),涵盖 2024 年初的 Claude 3 Opus 至 2026 年 10 月的内部 Model 4。2025 年 10 月之前,趋势为每年 +15 分;此后变陡,升至每年 +29 分,估计加速比为 1.9(95% 置信区间为 1.5–2.8 倍)。仅供内部使用的模型以橙色标示。

我们估计的加速率高于 Haiku 5.5 系统卡所报告的数值(1.7 倍),主要是因为纳入了较新的未发布模型数据,下文将作进一步说明。

我们考察了在基准测试的纳入范围、模型时间设定、模型纳入范围、基准测试饱和程度上作出不同选择时,上述结果是否稳健。稳健性分析给出的加速率介于 1.1 倍至 2.9 倍之间。如果基准测试得分的真实演变趋势(例如通过改进版 AECI 所测得的结果)显示完全没有加速,或加速超过 3 倍,我们都会感到意外。详情请参阅我们的附录章节。

这种加速并非由训练算力规模扩张的提速所驱动

我们获得了令人信服的证据,证明这种加速并非来源于训练算力规模扩张的提速。有关这些证据的更多细节已被删节。

访谈与调查的结果,符合“使用人工智能辅助开发,会让 AI 的模型能力提升速度翻倍”的判断

关于 AI 对模型训练流程各环节进展的贡献,我们掌握了多条线索证据,包括访谈、员工自我报告的提效幅度、人员数量、代码行数、实验使用量、管理层的定性反思。下面我们重点介绍三项未被删节的重要来源。

首先,METR 和 Anthropic 都详细访谈了许多研究人员,了解在他们各自的工作领域中,可归因于借助人工智能的整体加速达到了什么程度(详见下文附录)。我们的总体印象是,各方估计值的跨度相当大,但大致集中在 2 倍加速附近。部分引述在删去敏感细节后收录于附录。

其次,Anthropic 还分享了来自多个渠道的、员工自报的 AI 效率提升数据。最新数据来自一系列 Slack 投票,员工通过添加“表情回应”,投票选择自己估算的、当时最新模型所带来的加速比。我们认为,这些只能作为非常粗略的证据(因为回答并未经过认真斟酌)。尽管如此,这些自述数据呈现出持续增长的趋势,且数值极高(2026 年 10 月达到 12 倍),如下图所示。

Anthropic 员工非正式自报的提效幅度(对数坐标),2025 年 1 月至 2026 年 10 月,从 Claude 3.7 Sonnet 的约 1.2 倍升至 Model 4 的约 12 倍,图中附有指数拟合(每年 3.9 倍)与超指数拟合。

需要注意的是,单项提效(或加速)的估算值并不等同于加速率。要让模型能力等产出维持特定的增长率,通常必须让劳动力、劳动生产率等投入也保持相应的持续增长,才能抵消边际收益递减。若要在整体进展速度上实现显著的加速,通常必须让这些投入也大幅加速。因此,我们最关注的是单项提效的增长率是否出现大幅变化,而非其绝对水平。至于单项提效需要达到多高的增长率,才能解释我们在关键领域估算出的加速率;我们对此做了更详细的分析,但该部分已被 Anthropic 删节。

第三,据我们了解,人工智能尚无法对模型训练流程中最重要的部分做出重大且完全自主的贡献。不过,研究人员描述了一些明显的“初步迹象”,表明这类贡献可能很快就会出现(尽管不同领域之间存在很大差异)。

我们没有发现任何令人信服的证据表明存在足以阻碍持续快速进展的瓶颈

以现有证据来看,无论是源于算法进展的限制,还是训练算力、实验算力、或是数据方面的限制,我们都没有找到任何会在未来的 12 个月里阻碍模型能力提升的显著瓶颈。然而,随着掌握的详细信息不断增多,我们对这些潜在瓶颈的判断已多次改变,因此,我们对目前的评估并没有把握。Anthropic 删去了我们对若干具体瓶颈的分析。

被删节的部分其他证据难以解读,但支持了“研发在持续加速,甚至可能愈发快”这一判断

我们考察了用于衡量模型训练流程中关键环节加速情况的多项内部指标和方法,其中涵盖了基准评测进展、算法效率、模型(在预训练及强化学习阶段)整体能力的相关指标,以及在算力利用率、推理效率、数据效率方面的提升。在考察中,我们尝试弄清以下几点:

  1. 内部指标在方法上的各种变体。我们花费了数周时间进行这些研究;这也是我们不确定性的最大来源。
  2. 相关团队员工对关键内部证据及加速率估算的看法。
  3. 模型训练流水线的其他环节是否会使我们的加速率估算产生偏差,以及可以在哪里进行调整。
  4. Anthropic 是否可能对内部指标过拟合。

这些内部证据支持了“Anthropic 的模型训练流水线存在显著加速”这一判断。其中部分证据显示,加速率可能超过 2 倍,且可能正在随时间推移而上升;但对如何解读这些证据,仍存在很大的不确定性。

流程详情

METR 员工评估了人工智能在多大程度上加速了 Anthropic 的 AI 研发

METR 员工 4(2.5 个全职人力)在 Anthropic 试点开展了一次高权限评估,以衡量人工智能对 AI 研发的加速程度,以及“极端且高风险的模型能力”可能以多快的速度在不久的未来出现。

Anthropic 在其《负责任扩展政策(Responsible Scaling Policy)》 (《RSP》)中将 AI 研发加速列为关键风险指标。在本次评估中,我们并未特别关注《RSP》设定的阈值,而是试图全面呈现人工智能驱动下的 AI 研发加速状况。

本次合作始于 8 月中旬,与 Anthropic 于 10 月 15 日宣布的评估并非同一项目。

合作细节

METR 员工历时十一周,独立评估了人工智能的使用在多大程度上加速了 Anthropic 的 AI 研发。我们的评估围绕三个宏观问题展开:

  1. Anthropic 内部模型能力的增长速度是否加快?
  2. 若存在加速,其中有多大比例可归因于人工智能的参与和辅助?
  3. 是否存在可能在短期内拖慢增长或限制加速的重要瓶颈?

此外,我们的工作范围还包括对 Anthropic 2026 年 8 月《风险报告》中“AI 研发”部分的评估,该审阅结果将另行发布。如下文所述,我们最初受托开展的评估工作,其范围涵盖了对算力分配比例的核实,即:分别有多少算力被投入到了“AI能力提升”与“保证AI安全”。

METR 有权申请获取任何我们认为与理解“AI 研发加速”相关的信息,而 Anthropic 则可单方面批准或拒绝这些请求。实际操作中,我们经常与 Anthropic 员工协商,折中选取有参考价值、敏感度不高、易于共享的数据。下文将详细介绍 Anthropic 分享了哪些内容、拒绝了哪些内容;总体而言,获得的权限超出了我们的预期。在本次合作中,我们既未请求、也未获得对非公开模型进行采样的权限。

需要注意的是,METR 和 Anthropic 均无意让本项目涉及完全的“员工级”权限,即不经中介直接访问数据、文档或模型。具体而言,本项目并非 Anthropic 10 月 15 日关于独立评估方的更新中所描述的项目。

Anthropic 对本报告中所有非公开信息享有单方面的删改权。我们则有权单方面披露以下内容:

  • 审阅与删节流程的存在及其大致条款
  • Anthropic 是否行使了删节权
  • 是否有任何发现在很大程度上依赖于被删节的信息
  • 所获权限的级别

出于网络安全考虑,在整个评估期间,我们均在 Anthropic 的设备上工作。Anthropic 为本次评估提供了免费的 token 使用额度,我们主要将其用于 AI 辅助数据分析与可视化。按照惯例,我们未收取 Anthropic 的任何报酬。

本次工作遵循了 METR 所著《我们与 AI 公司合作的方式》。我们在流程透明度披露附录及 AEF-1 检查清单中提供了利益冲突(COI)声明和合同条款摘录。

Anthropic 删改详情

我们约 100 页的《完整报告》力求详细回答近期提出的关键问题;我们此前指出,这些问题在未来的 AI 研发评估中必须予以解答。下表总结了提供给我们的证据来源,以及其中能够纳入本公开报告的部分。

已共享与被删节的证据来源一览表

信息类型 有否与 METR 共享? 本公开报告中是否描述其结果
内部模型能力的测量数据:内部模型的基准评测能力 有 是
内部能力的测量数据:关键中间指标 有 否
算法进步的估算 有 否
人工智能对加速做出贡献的证据 有 一部分
关键研发投入的测量数据 大部分 否
瓶颈与预测详情 一部分 否
员工访谈 有 一部分

Anthropic 的删改还导致我们无法传达以下内容:

  1. 针对模型训练流水线的关键环节,我们对加速程度及人工智能使用归因的更详细估算
  2. 我们对可归因于算力、数据、算法进步的进展所作的更详细拆解(除了一项核心结论:“我们确信,这种加速并非由训练算力的加速所致”)
  3. 对我们方案中局限性相关问题的更详细解答(这需要进一步讨论方法层面的细节)
  4. 对未来模型各项指标的预测

他们还在全文各处做了一些其他较小的删节,我们会尽量在本报告的各节中予以说明。

Anthropic 称这些删节“旨在移除可能加速其他 AI 开发者研发进程的机密信息”。

关键日期

  1. 8 月 12 日:Anthropic 开始向 METR 共享机密信息。
  2. 8 月 14 日:Anthropic 将 AI 研发风险报告(8 月版)的未删节版本分享给 METR。
  3. 9 月 12 日:METR 将《完整报告》初稿提交给 Anthropic 征求意见。
  4. 9 月 18 日:METR 将《风险报告评审》初稿提交给 Anthropic 征求意见。
  5. 9 月 22 日至 10 月 22 日:METR 根据补充信息对《风险报告评审》和《完整报告》进行迭代修改。
  6. 10 月 22 日:METR 向 Anthropic 提交了约 100 页的《完整报告》。
  7. 10 月 25 日:Anthropic 分享了删节指引,要点如上文所述。
  8. 10 月 26 日:METR 将本公开报告的草稿提交给 Anthropic。
  9. 10 月 27 日至 29 日:Anthropic 收紧了删节指引,METR 据此对公开报告进行了相应修改。
  10. 10 月 29 日:METR 提交了公开报告草稿。
  11. 10 月 29 日:Anthropic 与 METR 商定了约 5 天的延长期,以便更妥善地落实新的删节指引。
  12. 11 月 3 日:METR 提交了最终版公开报告。

METR 从 Anthropic 获取了大量非公开数据

METR 就 AI 研发流程的各个环节提出了广泛的信息请求,而 Anthropic 分享的信息超出了本项目最初的约定范围,多于我们的预期。通常,在提出请求后数天内,即可收到相关信息。

关于我们所获数据的详细说明已被删节。以下为概要:

  1. 内部模型的基准评测分数和 AECI,以及示例任务、评分标准答案、智能体在这些任务上的开销
  2. 预训练和强化学习阶段的算法效率及整体模型能力的历史数据,以及在算力利用率、推理效率、数据效率方面的改进情况
  3. 人员数量及各具体人员对进展的贡献归属
  4. 多个相关领域的训练算力指标
  5. 针对相关开放性问题的内部分析
  6. 各团队 AI 赋能效果的自评内部调查
  7. 全公司及部分研究团队的代码行数和拉取请求数量
  8. AI 智能体随时间推移的推理支出
  9. 关于自主研究贡献的内部文档
  10. 约 15 场与关键人员的访谈(访谈范围既定且广泛,但不涉及特别敏感的话题)

在少数情况下,Anthropic 认为某些相关信息过于敏感而未予提供。

Anthropic 还为本项目投入了大量人员时间和专业知识。我们认为,与我们合作最密切的两名工作人员,是 Anthropic 内部在“人工智能研发加速度量”这一领域掌握背景信息最充分的研究人员。这两位研究人员频繁与我们进行实时讨论,并花费大量时间收集数据、开展分析和提供反馈。

Anthropic 取消了本次评估中的算力分配核查环节

本项目的合同约定范围原本包括对 Anthropic 算力分配的核查,尤其是能力与安全之间的资源分配。然而,Anthropic 在项目中途调整了范围,剔除了“算力验证”这一部分,转而仅聚焦于 AI 研发加速问题。在 METR 得以就 Anthropic 的算力使用情况得出任何实质性结论前,这一环节便已被取消。Anthropic 表示,此举是因为希望暂时将合作重心放在风险评估上,日后会重新考虑算力分配核查事宜。

评估局限

METR 就自己可能在哪些地方误读了证据,以下是我们最合理的猜测

我们讨论了在解读证据时可能出错的主要方面,并重点指出以下几点:

  1. 本次评估的结构本身带来的局限性
  2. 分析不当带来的局限性

由于访问权限有限,我们可能会遗漏重要的背景或数据

尽管 Anthropic 向 METR 开放了一定权限,但显然,假若获得了员工级别的访问权限,评估则可以深入得多。我们的信息来源渠道相对狭窄,也有少数的数据请求被拒绝。倘若能随时查阅文件、观察内部讨论与辩论、进行频繁而多样的交流,我们的认识会更加全面。虽然我们认为自己已接触到大部分相关信息,但仍有可能因为不知道某些信息的存在,或无法自行查找,而遗漏了重要内容。

在整个评估过程中,随着更多背景信息的披露,我们对关键数据的理解发生了重大转变;针对关键问题,我们在一些情况下甚至数次推翻了之前的判断。我们相信,假如得到了更充分的访问权限,正确理解的过程本可大幅加快;而现在很可能仍存在我们因背景信息不足而误读了的地方。

实际的加速幅度可能高于本报告的估计

关于我们可能在哪些方面低估了加速,最合理的猜测如下:

  1. 我们可能忽略了近期进一步的加速趋势。增长率或许正在持续加速,例如呈双曲线增长。尽管在 AECI 趋势中尚未发现明确证据,但其他的一些证据(已被 Anthropic 删节)使得这种可能性显得更为可信。如果增长确实呈双曲线形态,那么我们很可能低估了当前的瞬时加速程度,并严重低估了近期即将出现的加速幅度。此外,我们只有在模型完成训练后才能观察到模型层面的成果;这意味着,我们所观察到的“有效研发”层面的加速,有大约相当于一个模型训练周期的时间滞后。
  2. 自动化到来可能比我们预估得要快。据我们了解,目前人工智能还无法完全实现 Anthropic 模型训练流程中相当一部分环节的自动化;不过,正如后文所述,已经出现了一些“初步迹象”。自动化或许已近在咫尺,一旦人为瓶颈被消除,就会带来极快的加速。
  3. AECI 可能低估了模型能力带来的现实影响。关于基准测试分数与现实影响之间的关系,我们掌握的数据很少。举例来说,数学领域的 ECI 分数并没有明显加速,但我们现在却正看到千禧年大奖难题被逐一攻克——这些问题可曾让人类耗费数十年而无果。现实影响可能取决于某些能力阈值:模型一旦突然跨过这些阈值,就会产生难以预测的突变式影响。

实际的加速幅度也反而可能低于本报告的估计

关于我们可能在哪些方面高估了加速,最合理的猜测如下:

  1. 非 AI 因素可能解释了大部分加速。近期的加速也许全部(或大部分)都可以用非 AI 因素来解释。这意味着,我们预期未来会出现高速增长或进一步加速的理由就会减少。
  2. 加速可能仅限于定义明确的任务。我们考察的证据中,很大一部分是基于定义明确的任务来衡量性能的;这类任务易于通过自动化方式(或使用语言模型)进行评估。如果近期模型在“较为规范”的任务上的进步速度快于“复杂多元”的任务(相对于历史水平上的增速对比),那么我们可能高估了现实影响的加速程度。例如,近期的进展可能只是在过拟合 AECI 所涵盖的那类任务。
  3. 如果历史增长率异常偏低,“加速”的幅度可能会被我们高估。如果由于某些暂时性因素,历史水平的进展速度低于正常或自然水平,就会导致我们高估加速的幅度。正如我们在附录中所述,在 2025 年底之前,Anthropic 模型在 AECI 上的历史增长率低于整个行业的前沿水平;这或许能解释一部分加速。

附录

方法

本节的删节情况

本节内容未作任何删节,但需注意,部分关于方法的讨论可能仅适用于完整报告。

我们纳入了 Anthropic 仅供内部使用的模型的数据

其中包括以下模型(下列代号是 Anthropic 向我们提供的;据我们了解,这些模型在其内部另有代号):

  • Unreleased 2022,于 2022 年完成训练
  • Model 2,于 2026 年 7 月完成训练
  • Model 3,于 2026 年 8 至 9 月完成训练
  • Model 4,于 2026 年 9 至 10 月完成训练

METR 的完整报告中包含对一款未来模型的预测,但该部分内容已被删节。

我们使用了分段线性拟合来识别加速

我们通常采用带有一个待推算断点的普通最小二乘拟合,推算随时间变化的趋势;然后,将拟合得到的两段线性趋势的斜率之比作为加速比。将标准 AECI 数据中拟合效果最佳的断点作为其他图表的默认断点,以便在整份报告中使用一致的断点。不过,在部分分析中,我们也会偏离这一做法,根据各图表自身的最佳拟合结果,检验推算出的加速比。

我们围绕 3 种增长率展开分析:历史增长率、当前增长率、反事实增长率

我们希望评估人工智能自动化在多大程度上加快了 AI 的进步。对于任何进度衡量指标(例如通过 AECI 衡量的模型能力),我们都可以推算以下三个数值:

  1. 历史增长率:所识别的趋势变化发生之前的增长率
  2. 当前增长率:截至 2026 年 10 月的增长率
  3. 反事实增长率:假设 Anthropic 无法使用人工智能来加快 AI 进步的情况下,截至 2026 年 10 月本会达到的增长率

前两者是可观测的量,而反事实增长率只能靠推测。下图用示意数据展示了这些指标:

数据为虚构,仅用于示意:模型能力呈对数坐标显示,历史增长率为每年 2 倍;截至 2026 年 10 月的当前增长率为每年 9 倍;不使用人工智能来加快 AI 进步的前提下,反事实增长率为每年 3 倍。AI 带来的加速比为 log(9) / log(3) = 2;相对于历史增长率的加速比为 log(9) / log(2),约 3.2。

有必要区分我们所定义的 AI 带来的瞬时加速与 AI 带来的累计加速,后者是指自某一时间点(如 2025 年 10 月)以来,整体进展中有多大比例可归因于 AI。部分访谈和文档或隐含、或明确地讨论了累计加速,但我们通常认为累计加速会低于瞬时加速,原因在于 2025 年存在非 AI 的加速因素,且 AI 的影响力随时间不断增强。

在完整报告中,我们用一套简单的核算框架来梳理间接证据

我们希望了解,AI 研发是否使整体模型能力出现了加速。为了得出主观判断,我们使用以下核算框架来梳理证据,但所有涉及该框架具体应用的内容均已被删节。

示意图:算法、数据质量、算力共同影响预训练强度;另一组算法、数据质量、算力则共同影响强化学习(RL)强度;预训练强度与强化学习强度再共同影响模型能力。

指向方框的箭头表示该方框所代表的量是前面各方框所代表的量的函数,例如预训练强度是算法、数据质量、训练算力的函数。我们在这里使用“RL”一词涵盖预训练之外的所有贡献。

借助这一框架,我们可以从右侧的模型能力出发,判断是否出现了加速;然后向前回溯一层,查看预训练或 RL 是否出现加速;再进一步回溯一层,确定是哪些输入因素导致了这种加速。由此可以更深入地了解各项输入发生了怎样的变化。

在完整报告中,所有分析均记录在配套的交互式编程文档(notebook)和指标看板(dashboard)中

为保证可复现性,我们维护了一份交互式编程文档和一个指标看板,收录完整报告中的全部结果。在可行的情况下,我们提供了指向交互式编程文档或指标看板的引用,大多数图表还附有标明其来源的“印戳”。

基准测试得分(AECI)

AECI 附录概述

我们从几个方面对主要的 AECI 分析作了展开说明。

  1. 我们解释了得出 AECI 加速比为 1.9 倍这一主要推算结果所采用的方法。
  2. 我们展示了在采用其他合理的分析方案时,推算出的加速比会如何变化:
    • 更换连接函数时为 1.1–2.9 倍。
    • 更换所用的模型快照时为 1.9–2.2 倍。
    • 更换所用的基准测试时为 1.9–2.2 倍。
    • 更换所用的正则化项时为 1.9–2.1 倍。
  3. 我们解释了这些结果为何与以往 Anthropic 系统卡中的 AECI 推算值不同。
  4. 我们详细讨论了 AECI 可能存在的问题,例如:
    1. Anthropic 的内部基准测试正日趋饱和(Model 4 在其接受测试的所有 AECI 基准测试上均取得了超过 50% 的得分);不过,测得的加速比似乎并未受到饱和问题的明显影响。
    2. Token 使用量可能过低,无法充分激发模型的能力。
    3. 逻辑连接函数在少数几个基准测试上可能存在设定错误;但总体而言,我们认为它是一个合理的近似。
    4. 基准测试得分的加速可能高估或低估现实影响的加速,其原因有多种。

本节的删节情况

本节被 Anthropic 删节的内容极少。被删去的信息仅有:

  1. 具体基准测试的名称。
  2. 一张展示部分模型 AECI 结果的图表,这些模型的选取依据涉及已被删节的信息。

AECI 推算的方法细节

我们使用 Epoch 的公开代码推算了各模型的 AECI 值。我们采用自助法(bootstrap),按模型分层、有放回地抽取基准测试得分,生成了 95% 的置信区间。

我们的基础数据包含每个模型多个快照的 AECI 得分。这些快照在日期和 AECI 得分上各不相同。

对于已公开发布的模型,我们纳入其公开发布的快照,并采用大多数 Anthropic 员工能够使用该快照的日期。例如,若某模型有两个快照:分别于 11 月 10 日、11 月 20 日可供 Anthropic 员工使用,而第二个快照在 12 月 1 日公开发布,那么按照我们的处理方法,发布日期将记为 11 月 20 日。我们认为还有许多其他合理的日期确定方法(例如采用首个快照而非最后一个快照的发布时间);下文的一项稳健性检验中对此有所展示。

对于从未公开发布的模型,我们纳入在内部得到广泛使用的快照,并采用大多数 Anthropic 员工能够使用这些快照的日期。

我们采用大多数 Anthropic 员工能够使用模型的日期,而非模型公开发布的日期,是以便在相同口径下与未公开发布的模型进行比较。这通常显示出略高的加速比,因为 Anthropic 在公开发布较新模型之前会将其多保留一段时间。

拟合随时间变化的趋势时,我们采用普通最小二乘法,对处于能力前沿的每个快照赋予相同权重。趋势推算中的置信区间仅考虑各模型 AECI 得分的不确定性,不包含因选取哪些模型纳入拟合而产生的抽样不确定性。

我们对趋势中的断点位置进行推算,但预先设定断点数量为 1。在主要的 AECI 模型设定下,我们推算出的断点为 2025 年 10 月 7 日。在稳健性检验中,我们沿用 2025 年 10 月 7 日这一断点以确保可比性。

稳健性:采用不同连接函数时,推算出的 AECI 加速比介于 1.1–2.9 倍之间

我们在下文中指出,针对 AECI 加速的估算,在一定程度上取决于关于各基准测试中任务难度分布的假设。原则上,我们可以根据数据区分这些假设,但实际上,大多数函数对数据的拟合效果相差无几。感谢 Anthropic 员工为此处的分析提出有益建议。

AECI 假设,模型在基准评测上的得分是其“潜在能力”的函数,具体采用逻辑斯谛函数(logistic 函数,如下图中黑色曲线所示)。这可以理解为对基准测试中任务难度分布的一种假设,包括有多少任务是无效的,以及有多大比例的任务可以靠猜测答对。下图展示了几种不同的关联函数。逻辑斯谛函数假设难度分布对称,两端尾部呈指数衰减。log-log 函数假设困难任务存在长尾;互补 log-log 函数则假设简单任务存在长尾。

三种连接函数下,预测的基准评测得分随“区分度 × (能力 − 难度)”变化的关系:逻辑斯谛函数(ECI 基线)、互补 log-log(简单任务存在长尾)和 log-log(困难任务存在长尾)。

下表展示了在不同连接函数假设下推算出的加速比。请注意,这些连接函数均为全局设定,并非针对各项基准测试分别设定。

连接函数 对任务分布的直观假设 加速比 样本外 R² 图示
标准逻辑斯谛函数 基准测试中的题目难度呈对称分布,两端尾部呈指数衰减。 1.9 倍[1.5–2.8] 87.2% 上图
概率单位(probit)函数 基准测试中简单题目和困难题目对应的尾部均较短。 1.8 倍[1.3–2.7] 87.1% 采用 probit 连接函数的 AECI 趋势:加速比为 1.8。
柯西(cauchit)连接函数 基准测试中简单题目和困难题目对应的尾部均较长。 2.8 倍[2.0–4.1] 86.1% 采用柯西(cauchit)连接函数的 AECI 趋势:加速比为 2.8。
互补 log-log(左尾较重) 基准测试中仅简单题目对应的尾部较长(例如存在许多容易猜对的任务)。 1.1 倍[0.8–1.5] 87.1% 采用互补 log-log 连接函数的 AECI 趋势:加速比为 1.1。
log-log(右尾较重) 基准测试中仅困难题目对应的尾部较长(例如存在少数极难的题目)。 2.9 倍[2.1–4.9] 86.9% 采用 log-log 连接函数的 AECI 趋势:加速比为 2.9。
学习得到的连接函数(Stukel 双尾函数族,含两个全局学习参数) 两端尾部的长度根据数据进行全局推算。 2.6 倍[1.8–4.1] 87.0% 采用学习得到的 Stukel 连接函数的 AECI 趋势:加速比为 2.6。

除柯西连接函数外,这些连接函数的拟合效果相当接近,我们也没有充分的先验理由去偏好其中某一个。我们在主要结果中继续使用逻辑斯谛函数,因为它是 Epoch 和 Anthropic 默认使用的连接函数。

稳健性:无论纳入哪些快照,AECI 的加速比似乎均稳定在约 2 倍

在推算 AECI 增长时,我们考虑了多种模型选取方案:

参数化方式 加速比 图示
标准 AECI(在内部得到广泛使用的快照) 1.9 倍[1.5–2.8] 见上文
每个模型仅纳入得分最高的快照 1.9 倍[1.4–2.8]  
每个模型仅纳入首个快照 2.2 倍[1.3–3.2]  
部分模型子集(选取原因已被删节) 1.9 倍[1.4–3.3] [此图已被 Anthropic删节]
全部快照 1.9 倍[1.4–2.6]  

稳健性:无论纳入哪些基准评测,AECI 的加速比似乎均稳定在约 2 倍

在推算 AECI 增长时,我们考虑了多种基准评测选取方案:

参数化方式 加速比 图示
标准 AECI 1.9 倍[1.5–2.8] 见上文
剔除视觉类基准评测(如 OSWorld、MMMU) 2.2 倍[1.7–3.5] 剔除视觉基准评测后的 AECI 趋势:加速比为 2.2。
仅保留 Claude 标记为与 AI 研发相关的基准评测(例如剔除多语言 MMLU、诚实性基准评测) 2.0 倍[1.5–2.9] 仅保留与 AI 研发相关的基准评测后的 AECI 趋势:加速比为 2.0。
剔除平均得分随 AECI 提高而下降的基准评测(综合能力更强的模型反而得分更低,可能表明该基准评测存在问题) 1.9 倍[1.6–2.8] 剔除得分随 AECI 提高而下降的基准评测后的 AECI 趋势:加速比为 1.9。
剔除逻辑斯谛拟合的 R² 低于 50% 的基准评测(即剔除逻辑斯谛连接函数拟合效果不佳的基准评测) 1.9 倍[1.4–2.6] 剔除拟合效果不佳的基准评测后的 AECI 趋势:加速比为 1.9。
各项基准评测的得分达到 85% 后,不再使用其后续得分(用于检验结果对饱和问题的稳健性) 1.9 倍[1.4–2.3] 各项基准评测得分达到 85% 后不再使用其后续得分:AECI 加速比为 1.9。

稳健性:调整正则化设置后,AECI 的加速比似乎均稳定在约 2 倍

参数化方式 加速比 图示
标准 AECI 1.9 倍[1.5–2.8] 见上文
将 L2 正则化强度降至原来的 1/10 1.9 倍[1.4–2.8] 将正则化强度降至原来的十分之一后的 AECI 趋势:加速比为 1.9。
将 L2 正则化强度增至原来的 10 倍 2.1 倍[1.6–3.0] 将正则化强度增至原来的 10 倍后的 AECI 趋势:加速比为 2.1。
完全移除正则化 1.9 倍[1.4–2.8] 完全移除正则化后的 AECI 趋势:加速比为 1.9。
将 L2 惩罚项的中心从 0 改为线性时间趋势:将各模型的能力得分和各项基准评测的难度,分别向其发布日期所对应的趋势线取值收缩;将各项基准评测的区分度向 1 收缩 1.9 倍[1.4–2.8] 以趋势先验替代 L2 惩罚项后的 AECI 趋势:加速比为 1.9。

稳健性检验:纳入非 Anthropic 模型后,AECI 的加速比变小

如果基于主要的 AECI 分析结果,绘制所有前沿模型的数据(而不仅限于 Anthropic 模型),我们推算出的加速比会更低。

2024 年年中到 2026 年 10 月,各开发者前沿模型的 AECI,包括 OpenAI、谷歌、xAI 的公开模型。2025 年 10 月之前,趋势线显示每年增加 17 分;此后升至每年增加 24 分,加速比为 1.4 倍。

请注意,历史趋势主要根据非 Anthropic 模型推算,当前趋势主要根据 Anthropic 模型推算。

对这组数据,有以下两种合理的解读:

  1. 2025 年,Anthropic 模型的能力低于行业前沿水平,因此,截至 2025 年 ,Anthropic 的历史进展被低估了。这意味着,报告其余部分给出的 1.9 倍加速比被高估了;1.4 倍更为准确。
  2. 如果 Anthropic 模型针对基准评测的优化程度低于其他模型,那么历史趋势可能被高估了,因为较早的数据点对基准评测的过拟合程度更高。因此,上图中 1.4 倍的加速比被低估了,而我们在其他地方引用的 1.9 倍更接近准确值。

新的内部模型表明,相比于 Mythos Preview 时出现一次性跃升,斜率发生持续性变化的解释更为可信

Anthropic 此前的系统卡提出过一种假设:模型能力在 Mythos Preview 时出现一次性跃升,随后恢复此前的增长趋势。但从近期模型的情况来看,这种假设的可能性似乎较低;相比之下,趋势发生永久性改变的可能性更大。

Anthropic 模型的 AECI,以及只用 Mythos 5 及此前模型的数据得到的两种拟合:一种是斜率发生持续性变化,另一种是在 Mythos Preview 时出现一次性变化。对于后续未参与拟合的模型,斜率变化方案的误差更低(两种方案的均方根误差分别为 1.9 和 3.9 个 AECI 分值),且在 81% 的自助法抽样中表现更优。

对比我们的 AECI 推算值与各项公开推算值

下图把我们推算出的加速比与各项公开推算的加速比放在一起比较。

一组比较加速比推算值的小图。各行采用不同的模型得分校准方式(基于全部模型的 AECI、基于 Anthropic 模型的 AECI、Haiku 5.5 和 Opus 5.5 系统卡、Epoch ECI);各列采用不同的趋势推算方式(选取哪些模型、采用哪些发布日期)。推算值介于 0.99 倍至 1.90 倍之间,其中采用内部发布日期、纳入全部 Anthropic 模型的 AECI 分析得出的加速比为 1.90 倍。

各行代表校准各模型 (A)ECI 得分的不同方法,例如更换基准评测、调整参与得分校准的模型范围等。各列代表根据这些得分推算随时间变化的加速比的不同方法,例如仅选取部分模型、更改发布日期等。

我们的主要结论如下:

  1. Anthropic 最新发布模型的 Haiku 系统卡给出的加速比为 1.7 倍,而我们的推算结果为 1.9 倍,两者最重要的区别在于,我们的推算结果纳入了 Anthropic 近期仅供内部使用的模型。
  2. ECI 与我们的推算结果之间最重要的区别在于:我们仅使用 Anthropic 模型推算随时间变化的趋势,并纳入了 Anthropic 近期仅供内部使用的模型。

Model 4 在其接受评测的所有基准评测上,得分均超过 50%

下图给出了 AECI 中前沿模型在所有基准评测上的得分,采用对数几率刻度表示。这意味着,如果逻辑斯谛假设成立,这些得分应随模型的潜在 AECI 分值呈线性变化。高亮线条代表用于评测 Model 4 的 15 项基准评测。值得注意的是,Model 4 在这些基准评测上的得分均超过 50%。可以看到,仅在 9 个月前,基准评测的难度分布还大不相同:Opus 4.6 在许多基准评测上的得分低于 50%。缺少对 Model 4 而言足够困难的基准评测,让我们对当前及未来衡量 AECI 的能力有些担忧。

随时间变化的 AECI 分值(左轴)叠加各基准评测的得分(以对数几率表示,右轴)。Model 4 接受的基准评测分为数学、软件工程、科学、多模态,以及语言、记忆与其他类别。截至 2026 年 10 月,其在这些基准评测上的得分均超过 50%。

用于评测 Model 4 的大多数基准评测,其得分在对数几率空间中呈现出较好的线性关系

使用 AECI 衡量加速时,一个具体的顾虑是:基准评测可能包含许多存在问题的任务,或者任务难度呈厚尾分布。逻辑斯谛连接函数假设任务难度分布的尾部呈指数衰减;如果实际的任务难度呈厚尾分布,就意味着得分从 98% 提升至 99% 所需增加的 AECI 分值多于从 80% 提升至 90% 所需增加的分值(逻辑斯谛函数则假设两者的难度大致相当)。任务难度呈厚尾分布,可能导致我们低估加速比。如前文所述,采用柯西或 log-log 连接函数(这两种函数将基准评测中最后几项任务建模为特别困难的任务),推算出的加速比分别为 2.8、2.9 倍。

我们对任务难度进行了简单的诊断检验。针对 AECI 中用于评测 Model 4 的 15 项基准评测,我们逐项比较了各模型的 AECI 推算值与其在相应基准评测上的对数几率得分。如果 AECI 的假设成立,即任务难度相对于模型潜在能力的分布符合逻辑斯谛假设,我们预计各图均应呈线性关系。如果存在许多有问题的任务,或任务难度呈厚尾分布,我们预计拟合曲线会呈凹形(如果简单任务的占比过高,则预计拟合曲线呈凸形)。

15 幅小图,每幅对应一项用于评测 Model 4 的匿名基准评测,展示各模型的对数几率得分与其 AECI 分值的关系,并附有逻辑斯谛拟合曲线。大多数图呈线性关系,少数图较为平坦或呈凹形。

我们注意到,15 项基准评测中有 3 项的拟合曲线明显较为平坦或呈凹形。剔除这 3 项可疑的基准评测后,我们重新推算了所有模型的 AECI;Model 4 的得分提高约 1 分(从 178.6 升至 179.7)。因此,我们认为,有一些较弱的证据表明厚尾会导致加速比被低估,但影响幅度不大。

每项基准评测的 token 使用额度可能太低

如果在基准评测上投入很低,而后续模型的投入回报更高(例如,早期模型的表现可能随着使用量增加而趋于平台期,而后续模型仍能获得较高收益),那么对能力增长的推算结果可能会因此偏低。

Anthropic 向我们提供了 AECI 中各项基准评测的 token 使用数据。在内部基准评测中,一个典型任务(单次尝试)约使用 250 万输入 token 和 7.2 万输出 token;在智能体编程基准评测中,约使用 1 000 万输入 token 和 9.4 万输出 token。作为粗略对比,Epoch AI 在几项公开基准评测(GPQA、AIME、SWE-bench)中,一个典型任务约使用 50 万输入 token 和 1 万输出 token;在一项特定的智能体编程基准评测(SWE-bench)中,约使用 100 万输入 token 和 8 000 输出 token。另一个粗略参照是,METR 在其最新的长时间运行软件基准评测中约使用 65 万输出 token,不过 token 的统计口径可能并不具有可比性。

此外,如果能画出每个模型的“收益”曲线,也就是不同使用量下测得的得分,也会很有参考价值。Anthropic 的系统卡确实报告了部分基准评测的使用量曲线(例如 Opus 5.5 系统卡)。近期有一些证据表明,使用大量推理算力可以解决难题(例如纳维–斯托克斯)。总体而言,我们估计,如果进一步增加推理 token 的使用量,各模型的 AECI 得分可能提高几分。我们粗略估计,这种做法在各模型上带来的收益大致相当,因此推算出的加速比不会改变。不过,我们并未深入研究这一点,近期模型也可能在增加 token 使用量时展现出更好的扩展特性。

基准评测得分的加速增长,未必能反映现实影响的加速增长

理想情况下,我们想知道的是每个模型在现实世界的价值或潜在影响,而非其基准评测得分。如果现实影响与基准评测得分之间存在平滑的关联,那么我们便可预期:AECI 的加速会伴随现实影响同等程度的加速。5

AECI 的加速之所以未必能反映模型能力的现实影响在多大程度上加速,原因有以下两点:

  1. 如果现实影响是基准评测得分的凸函数(例如:影响取决于是否跨越某个能力门槛),那么 AECI 就会低估现实影响的加速程度。在某些领域,我们已经观察到,基准评测得分稳步增长的同时,现实影响却突然加速,例如对网络安全或数学领域发现速度的影响(参见)。
  2. 如果 AECI 中的基准评测仅覆盖部分能力,而这些能力带来的现实收益呈递减趋势,那么 AECI 可能会高估现实影响的加速程度。例如,假设 AECI 主要衡量模型解决形式化问题的能力,但这项能力带来的现实收益递减,那么我们可能会观察到 AECI 加速增长,而现实影响并未加速。

总体而言,我们有把握认为,基准评测得分的增长至少出现了一定程度的加速。我们认为存在重大风险:AECI 的加速可能无法准确对应现实影响的加速。

AI 加速的证据

有大量证据表明人工智能的协助带来了 AI 加速

我们将 AI 加速比定义为员工或团队在使用 AI 与不使用 AI 时的产出之比,同时指出,产出往往难以衡量或界定。

下面我们简要梳理有关 AI 加速的整体证据,并得出以下结论:

  1. 有一些证据表明 AI 带来了较高的加速比,但具体数值仍存在很大的不确定性。
  2. 目前,完全自主的 AI 研发贡献对整体进展的贡献尚不大,但在不久的将来可能会发挥重要作用。

本节的删节情况

Anthropic 删节了加速的证据;这些证据与其模型训练流程的特定环节密切相关。Anthropic 也删节了我们关于“本节中的证据与我们对模型训练流程各环节加速情况的估算之间有何关联”的讨论内容。此外,一项关于 Anthropic 推理算力使用情况的说法也被删节,因为它以算力口径计价;我们认为其参考价值不足以让我们再请求按 API 价格口径提供这一信息。Anthropic 还删节了下文中研究人员引述内容里的敏感细节。

员工非正式自报的效率提升幅度一直在稳步增长

Anthropic 分享了来自多个渠道的员工自报 AI 效率提升数据。最新数据来自一系列 Slack 投票,员工通过添加“表情回应”,投票选择自己估算的当时最新模型所带来的加速比。我们认为,这些只能作为非常粗略的证据:我们预计,参与投票的员工并不具有代表性,而且他们的回答并未经过认真斟酌。此外,有一些证据表明,员工自报式调查对效率提升幅度的估计可能高于实际的生产力影响。

尽管如此,我们仍观察到员工自报的效率提升幅度持续增长,如下图所示。对于 2026 年 10 月能力最强的内部模型,员工自报的平均效率提升幅度约为 12 倍。

2025 年 1 月至 2026 年 10 月,Anthropic 员工非正式自报的效率提升幅度(以对数坐标显示),从 Claude 3.7 Sonnet 的约 1.2 倍升至 Model 4 的约 12 倍。图中包含指数拟合(每年 3.9 倍)和超指数拟合。

这些员工自报的效率提升估值一直在增长,但很难确定应如何外推。上图对效率提升幅度随时间的变化进行了拟合,分别采用对数线性拟合和超指数拟合。

访谈结果大体上支持 AI 使增速翻倍这一判断

METR 和 Anthropic 均访谈了许多研究人员(详见下一节)。我们使用 Claude 对引述进行分类,判断其是否支持以下观点:与不使用 AI 相比,AI 在受访者的工作领域带来了 2 倍或更高的加速比。我们认为,这些结果略微倾向于支持加速比达到或超过 2 倍:

  • 支持:2
  • 倾向于支持:3
  • 模棱两可/不明确:4
  • 倾向于反对:0
  • 反对:2

删去敏感细节后的引述见下一节。

训练流程的部分环节已出现完全自主贡献的初步迹象

除了 AI 对人类工作效率的提升,我们也关注自主 AI 研发。据我们了解,AI 尚无法在模型训练流程最重要的环节作出具有重大意义且完全自主的贡献。不过,研究人员描述了一些明显的“初步迹象”,表明这类贡献可能很快出现,尽管不同领域之间存在很大差异。更多细节已被删节。这些证据来自:

  1. 与多位研究人员的访谈(这些研究人员皆负责在不同的训练环节达成流程自动化)。
  2. 关于训练流程中不同环节自动化程度的内部报告。
  3. 对相关流程中由人类或 AI 构建的任务各自所占比例的定量分析。

关于 AI 加速的访谈引述

Anthropic 和 METR 的工作人员访谈了多位研究人员,了解人工智能在其工作中如何加速 AI 研发。各场访谈的时长和深度不一,但我们预计,研究人员在这些访谈上花费的时间明显多于回答上述调查所花费的时间。

为了对访谈进行分类,我们让 Claude 通读全部笔记,提取所有相关引述,并将其编码为三类:支持 AI 在其工作领域带来了超过 2 倍的加速比、态度模糊、反对。下表每行对应一位受访者及其全部相关引述。需要注意的是,受访者对问题的理解往往不尽相同,例如:问题指的是累计加速还是瞬时加速,或是个人效率提升还是整个组织层面的加速。

我们使用了以下提示词:

“请浏览所有访谈标签页,以及这份谷歌文档之外的所有相关访谈文档。[提供背景,此处删节]请制作一张表格,每行对应一位受访者,汇总其全部引述。然后增加一列,给出你的总体判断:此人是否支持 Claude 在其工作中带来了超过 2 倍的加速比这一观点。”

人员 引述 是否支持 Claude 在其工作领域带来 > 2 倍的加速比?
研究人员 A “我完全认可加速比超过了两倍这一说法。”——METR 访谈笔记

“根据我对实际情况的了解,最大的影响来自模型带来的加速,而且远超其他因素。”——METR 访谈笔记

“AI 带来的加速超过了所有其他因素的影响。”——METR 访谈笔记

“现在的瓶颈只有想法和算力,编码已不再是瓶颈。”——METR 访谈笔记

“我完全认可一年取得超过两年的进展这一说法,而且我觉得说是四年的进展都不算离谱。”——METR 访谈笔记

“我认为‘我们只是开始更加努力了’这种解释有一定道理,但在我看来,大部分影响来自近期的模型。”——METR 访谈笔记

“大约 80% 的提升来自从想法到实验所需时间的缩短,其余 20% 则来自减少错误,以及能够衡量一些繁琐细节——以前为此专门开展一次性工作,工作量会过大。”——METR 访谈笔记

“我认为,当模型刚达到能够写代码的水平时,带来了一次中等幅度的提升;Opus 4.5/Opus 4.6 带来了一次大幅提升;Mythos Preview 又带来了更大的提升。”——Anthropic 访谈笔记
支持
研究人员 B “很难想象我的生产力没有达到原来的三倍。我感觉自己像是有了一批博士后和研究生,大家共同推进一个更大的项目。我认为最简单的解释就是 Claude——至少从我个人的角度看,这个解释很合理。”——METR 访谈笔记 支持
研究人员 C “在我看来,这可能是最大的因素。大家展示实验时,往往就直接指向一个跟[某智能体脚手架,此处不便署名]进行过了的会话线程。开展实验所需的额外工作正迅速趋近于零。”——Anthropic 访谈笔记

“我认为,在 Mythos Preview 之前,大约在 Opus 4.5 时期,CC 就已经足以实现大多数想法。”——Anthropic 访谈笔记
倾向于支持
研究人员 D “开展大量原本需要数天的[已删节]实验,现在容易多了。过去大家不会尝试[已删节]的事情,因为每个想法都需要 1–2 天才能实现,但现在用 Mythos Preview,成本几乎为零。”——Anthropic 访谈笔记

“我个人认为,这带来了很大的提升,也让我尝试了更多想法。”——Anthropic 访谈笔记

“按线性尺度看,在 Opus 4.6/Opus 4.5 之前,提升约为零;这两个模型带来了一些小幅提升。Mythos Preview +[某智能体脚手架,此处不便署名]则带来了大幅提升。我猜想我们才刚开始全面转向这种工作方式……接下来还会看到斜率继续增大/出现拐点。”——Anthropic 访谈笔记
倾向于支持
研究人员 E “我确实认为 Claude(Claude Code、[某智能体脚手架,此处不便署名])的作用相当显著。我见过我们发现非常有前景的方向,几乎完全是因为大家可以一口气向[某智能体脚手架,此处不便署名]提交 10 个想法,看看哪些行得通。”——Anthropic 访谈笔记

“许多[已删节]研究工作只是实现、持续看护等。Claude Code 中的 Opus 4.5 对此已经很有帮助,即使它大多还无法端到端完成。”——Anthropic 访谈笔记
倾向于支持
研究人员 F “斜率变化的 50%–80% 可归因于 Claude。”——Anthropic 访谈笔记

“这位管理者感受到的变化尤其明显:他能借助 Claude 对想法进行初步验证,降低不确定性,足以引起他人的兴趣;而此前作为一名管理 10 人团队的管理者,他根本做不到这一点。”——Anthropic 访谈笔记(转述)
处于判断边界
研究人员 G “这个拐点与他对实际变化的直观感受一致。两个最大的推动因素是 Claude 自动化和招聘。”——Anthropic 访谈笔记(转述)

“Claude 让研究人员能够迅速尝试许多事情,其中的大多数不会成功……”——Anthropic 访谈笔记
不明确
研究人员 H “我认为,由于工作逐渐转向使用 Claude,我们现在确实在同时尝试更多实验。”——Anthropic 访谈笔记 不明确
研究人员 J “Opus-4.5 之前 → Claude 对自主编码没有帮助;Opus-4.5 → 首次对自主编码有帮助;Mythos Preview +[某智能体脚手架,此处不便署名]→ 首次对自主实验有帮助。”——Anthropic 访谈笔记 不明确
研究人员 K “在我看来,[招聘]可能是最主要的原因……”——Anthropic 访谈笔记 反对
研究人员 L “估计有 15%–20% 可归因于 AI。不相信员工自报的生产力提升。”——METR 访谈

“我更倾向的解释是[已删节的非 AI 因素]。”——METR 访谈

“(1) Opus 4.5 不会写代码;(2) Opus 4.6 能写一点;(3) Mythos Preview 带来了明显的拐点;(4) Model 2 在这些工具的实用性上又带来了一次非常大的提升。”——METR 访谈

“Claude 确实让我们加速了……尽管到年底进展速度还会更快……但我的归因判断[主要不是 Claude]以及不确定性仍然不变。”——METR 访谈

“其中一项影响是软件工程加速,幅度极为显著。在 2025 年至 2026 年间,我们从中获得的收益确实增加了。”——METR 访谈
反对

对抗稳健性

我们认为,本次评估具备较好的对抗稳健性

由于这是一项独立评估,我们有必要尽到审慎核查的责任,了解 Anthropic 要系统性地误导我们有多困难(也就是说,我们被蓄意引向错误结论的可能性有多大)。

对抗稳健性弱点 1:我们依赖的是少数几位 Anthropic 员工提供的数据。大部分数据由两位技术人员提供;不过,我们还就多个话题访谈了约 15 位其他 Anthropic 员工。我们没有发现主要联系人与受访者的说法之间存在任何出入。考虑到这些 Anthropic 员工中有许多人是我们自己挑选的,而非 Anthropic 指定的,我们认为,如果对方有意向我们提供误导性信息,要做到这一点会相当困难。

对抗稳健性弱点 2:大部分分析依赖 Claude。Claude 参与了本项目的多个阶段,因此原则上有可能扭曲我们对数据的认知。我们认为,Claude 深度参与了以下环节:

  • 我们收到的大部分数据收集和分析工作
  • 撰写我们收到的文档中的相当一部分内容
  • 我们自己的分析工作的大部分

即使与人对人访谈的结果交叉核对,我们也未识别出任何表明存在系统性偏差的显著出入。我们倾向于认为,这不构成重大风险。

总体而言,我们认为 Anthropic 蓄意误导我们的可能性极低。不过,我们认为,获得更广泛的访问权限,可以进一步提升本次评估的对抗稳健性。

流程透明度披露

利益冲突披露

在为本项目挑选团队时,我们采用了利益冲突政策 v1.0,该版本是项目启动时生效的版本。

项目启动时,一名参与项目的团队成员正与 Anthropic 洽谈可能的任职机会。该成员随后收到了录用通知,但予以拒绝。该成员还因曾在一家竞争对手公司任职而持有其股权。因此,我们要求,该成员所完成并纳入本次评估的全部工作,均须由一名不存在利益冲突的团队成员进行全面核查,6 并由核查人对其准确性承担个人责任。今后,我们的更新版利益冲突政策(适用于 2026 年 10 月 9 日之后启动的风险评估)对此类情形将直接要求相关人员回避。

参与本项目的人员均未持有 Anthropic 股权。我们的利益冲突政策要求,相关员工若持有被评估公司的股权,就必须回避(METR 现有员工均未持有 Anthropic 股权,但有一名即将入职的员工持有)。

我们认为,不存在其他足以使与 METR 无关联的理性人士显著降低对本次评估信任程度的利益冲突。

其他披露事项

我们的流程透明度政策要求我们说明正式约束条件(如删节权和发布权),以及可能影响我们产出内容的其他因素。为减轻非正式压力,我们通常力求分享足够的相关证据,使公众能够自行得出结论。但本案中,因内容遭到删节,这一点较难做到。以下按影响程度由高到低排列:

考虑对与其他公司谈判的影响,以及 Anthropic 撤回访问权限的可能性。公司自愿参与此类评估,因此,我们考虑了本次产出会如何影响我们未来开展此类评估的能力。例如,如果我们因访问限制或特定删节而对 Anthropic 批评过严,可能会让其他公司甚至 Anthropic 本身今后更不愿与我们合作。其中最主要的影响在于:

  • 我们不希望挫伤企业向我们提供相关证据的积极性(即便这些证据的部分细节会在之后被删节)。因此,在讨论删节造成的局限时,我们尽量聚焦于那些影响我们传达最核心结论及不确定性的情形。
  • 我们刻意避免提供过于详细的流程描述,以免打消各公司开展探索性合作的意愿,或让它们产生一种“必须将一切都提前敲定”的压力,从而不敢在合作过程中改变想法,也无法在探索中接纳新发现。相反,我们侧重于沟通流程中那些对最终产出产生重大影响的关键环节。

我们根据反馈,做了大量表述清晰度方面的修改(尤其是针对《风险报告评审》)。我们的《风险报告评审》历经数稿,部分原因是 Anthropic 就表述清晰度以及如何减少报告被恶意误读的空间提出了大量反馈。在某些情况下,我们觉得这些针对 METR 员工的反馈措辞过于强硬,但 Anthropic 愿意听取我们就此提出的意见。我们希望今后制定更详细的流程和指引来处理此类问题。我们不认为最终评估或《风险报告评审》因此出现了显著失真。

合同条款摘要

我们在下文概述了相关合同条款。

评估范围

评估范围。METR 独立评估 AI 系统在多大程度上实现了 Anthropic AI 研发的自动化,或加快了其研发速度。

访问权限

Anthropic 的义务。Anthropic 按合理需要提供下列访问权限,指定一名联系人,并为安排调查和访谈提供合理协助。对于需要付出不成比例的工作量或未通过其信息审查的请求,Anthropic 可以拒绝,但须说明原因,概述未予提供的信息,并在可行时提供替代方案。

授予研究人员的访问权限。合同列出了我们在以往合作中能够获取的各类信息,作为本次评估访问权限的最低标准。合同还说明了与 Anthropic 员工交流的具体安排。我们最终获得的访问权限见上文。

信息审查流程。Anthropic 力求在三个工作日内对信息请求作出决定,并提供联系人以解答疑问。

发布权

公开声明。未经对方同意,任何一方不得就本协议发表公开声明,但双方均可披露本次合作的存在及其一般性质(一项独立的 AI 研发与算力分配评估)。

METR 的发布权。METR 享有以下发布权:

  1. 经批准的公开表述。METR 在发布前,将拟公开的评估发现提交 Anthropic 审查。Anthropic 可以要求删节机密或非公开信息,双方应本着诚信原则讨论删节事宜,最终以 Anthropic 的删节要求为准。METR 可随时提交新的或修订后的表述,申请批准发布。
  2. 无需进一步审查,METR 即可发布:经批准的公开表述、公开可得的信息(包括此前已获批准的表述,例如《前沿风险报告》中的内容)、模型或文档公开后可从中推导出的信息、METR 对上述内容的分析或评论。
  3. 除少数例外情形外,Anthropic 可以要求 METR 将任何公开声明的发布时间短暂延后。
  4. 透明度。METR 始终有权披露:
    • 审查与删节流程的存在及一般条款
    • Anthropic 是否行使删节权
    • 是否有评估发现在很大程度上依赖被删节的信息
    • METR 获得的访问权限程度
    • 保密框架

交付物

  • 一份完整报告:未经删节,交付给 Anthropic,覆盖项目的全部范围。
  • 一份 METR 内部报告:由 Anthropic 对完整报告作少量删节后,供 METR 员工查阅(注:由于时间原因,本次评估过程中未制作这份报告)。
  • 公开表述:即公开报告,须通过“经批准的公开表述”中所述的删节流程审核。

独立性与利益冲突

独立性。METR 独立开展本项目并得出结论,不作出任何使其在财务、运营或管理上依赖 Anthropic 的安排。METR 尽可能减少利益冲突,并在面向公众或监管机构发布的材料中,披露业内理性人士会认为与本次评估有关的任何利益冲突。METR 仍可评估其他 AI 提供方。Anthropic 不会试图以损害项目公正性的方式影响 METR 的评估发现,METR 对评估方法和结论保留独立决定权。

不收取费用。双方互不支付任何费用。提供给 METR 评估方的 token 和使用额度均为免费,双方各自承担自身费用。

AEF-1 检查清单

下文转载了 AI 评估者论坛(AI Evaluator Forum)的 AEF-1v1 检查清单。如需比较,可参见 METR 为《前沿风险报告》编制的 AEF 检查清单(第 67 页)。

1:获得充分的访问权限与资源

条目编号 内容 有否满足? 备注/依据
1.1 必须满足:评估方获得了充分的技术访问权限,能够评估所针对的具体系统特性。 未满足 下列子项中,AEF-1 仅要求满足 1.1.1(查询访问权限)。METR 工作人员没有 Anthropic 未发布模型的查询访问权限,因此我们将本条目标记为未满足,尽管此类访问并非本次评估的核心。这部分检查清单不太适用于本次评估。
1.1.1 评估方拥有查询访问权限。 未满足 参与本次评估的 METR 工作人员未申请查询访问权限,因为我们认为其对本次评估并非关键。
1.1.2 评估方有权访问系统脚手架。 不适用  
1.1.3 评估方获准不受系统安全防护措施的限制。 不适用  
1.1.4 评估方有权访问系统的中间状态。 不适用  
1.1.5 评估方拥有微调权限。 不适用  
1.1.6 评估方有权访问模型权重。 不适用  
1.1.7 评估方获准使用其他工具,以激发模型能力或通过其他方式支持外部效度。 不适用  
1.1.8 评估方有权访问相关用户数据。 不适用  
1.2 建议:系统提供方向评估方分享了开展可信且有用的评估所需的相关信息。 满足 如上文所述,Anthropic 根据具体情况向 METR 分享信息。
1.3 必须满足:评估方拥有足够的计算资源,以完成全面评估。 满足 本次评估不需要 METR 使用大量计算资源。
1.4 必须满足:评估方有充足的时间开展全面评估。 满足 本次合作由 4 周延长至 11 周(8 月 12 日至 10 月 29 日)。关于时间安排的更多说明,见流程详情。
1.5 建议:系统提供方为评估方在约定评估范围内的行为提供法律安全港。 未申请  

2:尽可能减少利益冲突

条目编号 内容 有否满足? 备注/依据
2.1 必须满足:评估方未收取与评估结果挂钩的报酬。 满足 METR 未就本次评估要求或收取报酬。Anthropic 为本次评估提供了笔记本电脑和 token 使用额度。
2.2 必须满足:系统提供方未在组织或财务上控制评估方。 满足  
2.3 必须满足:评估方已公布利益冲突政策,并将其用于本次评估。 满足 我们选定本项目团队时,采用了当时生效的利益冲突政策 v1.0。此后,我们更新了利益冲突政策。
2.4 必须满足:评估方明确披露了与本次评估相关的利益冲突。 满足  
2.4.1 评估方是否收取了系统提供方或其直接竞争对手支付的评估报酬? 未收取  
2.4.2 评估方的资金是否有相当比例来自系统提供方、其员工或其直接竞争对手? 无  
2.4.3 系统提供方、其员工或其直接竞争对手是否持有评估机构的股权? 无  
2.4.4 开展本次评估的评估方员工是否持有系统提供方或其直接竞争对手的股权? 持有 参见利益冲突披露中关于利益冲突及缓解措施的讨论。
2.4.5 参与本次评估的人员是否同时为系统提供方或其直接竞争对手工作? 否  
2.4.6 评估方是否存在其他与本次评估相关的利益冲突? 存在 参见利益冲突披露中关于利益冲突及缓解措施的讨论。
2.5 必须满足:评估方已要求在系统提供方中具有重大财务利益的人员回避,不参与评估。 满足  
2.6 建议:评估方披露了与系统提供方另行达成的、对评估独立性和可信度有显著影响的任何协议。 满足 METR 与 Anthropic 另有其他独立评估安排。另外,METR 使用非公开模型开展工作并使用免费提供的 token,这使我们有理由与 AI 公司保持友好关系。参见我们的网站。

3:分析自主性

条目编号 内容 有否满足? 备注/依据
3.1 建议:评估方在确定评估系统哪些具体特性方面保留了灵活性。 满足 在合同界定的范围内,METR 对调查的性质拥有充分的灵活性。
3.2 必须满足:评估方在决定评估方法方面拥有自主权。 满足  
3.3 建议:评估方通过直接访问系统,自行开展评估。 未满足 参与本次评估的 METR 工作人员从未直接访问 Anthropic 的系统,但获得了许多单独数据集和文档的访问权限。
3.4 必须满足:评估方保留对评估结果呈现方式的编辑控制权。 满足 Anthropic 对最终报告没有编辑控制权,但有权决定 METR 可以将哪些非公开信息纳入报告。参见流程详情和流程透明度披露。

4:方法与结果透明

条目编号 内容 有否满足? 备注/依据
4.1 必须满足:评估方分享了足够的方法细节,使结果能够接受独立审查。 未满足 由于删节要求,无法做到这一点。
4.2 建议:系统提供方事先授予了向评估的目标受众披露结果所需的全部必要权利。 未满足 本次评估中,Anthropic 有权删节本文中的任何非公开信息。根据我们的透明度原则,我们有权披露 Anthropic 是否行使了删节权,以及是否有评估发现在很大程度上依赖被删节的信息。
4.3 建议:评估的目标受众未因评估结果而缩小。 满足  
4.4 建议:系统提供方未歪曲评估发现。 满足 截至延长后的截止日期(11 月 3 日)。
4.5 建议:系统提供方或其他外部方未因评估结果的内容而不当延迟披露评估结果。 满足 相关讨论见流程透明度披露一节。
4.6 必须满足:系统提供方无权通过删节结果来隐瞒令人担忧的发现。 未满足 Anthropic 拥有单方面删节权。
4.7 建议:评估方明确披露了授予系统提供方或其他外部实体的删节权限。 满足  

5:敏感信息保护

条目编号 内容 有否满足? 备注/依据
5.1 必须满足:评估方发布任何基于非公开信息或系统的结果时,均已获得系统提供方的许可。 满足 METR 公开报告中的全部信息,均已获得 Anthropic 的明确发布批准。
5.2 建议:评估方法未被针对性利用或泄露。 不适用 与本次 AI 研发自动化评估的直接关联较小。上文讨论了我们可能受到误导的几种方式。
5.3 必须满足:评估方采取了措施,保护从系统提供方获得的机密信息。 满足 评估在公司设备上开展,METR 评估人员遵守了我们的保密政策。
5.4 必须满足:评估方制定并遵循了负责任披露政策。 未满足 METR 尚未制定负责任披露政策。

更新日志

2026 年 11 月 6 日

我们对 AEF-1 清单做了如下修改:

  • 清除了条目 1.1 和 2.4 中遗留的模板注释。
  • 将条目 1.1 由“满足”更正为“未满足”,并相应修改了备注。
  • 对子条目所在行进行了缩进。

脚注

  1. 我们同意,Anthropic 的删节仅限于可能加速其他 AI 开发者的机密信息,尽管被删节的信息大多属于非常概括的内容。我们不评论这些删节总体上是否合理,因为我们认为,METR 不适合权衡“公司保护此类机密信息的商业利益”与“公众更充分了解 AI 开发风险的利益”。我们着重描述的是这些删节的性质及其对我们结论的影响。 ↩︎

  2. 作者:Tom Cunningham、Nate Rush、Parker Whitfill、Hjalmar Wijk。 ↩︎

  3. METR 已发表多个与 AI 研发加速相关的研究系列,其结论呈现出不同的走向:我们的时间跨度趋势分析表明进展迅速,而我们的2025 年开发者生产力研究发现,2025 年初的人工智能工具反而拖慢了研发进度;我们对未来算力瓶颈的推算表明,规模扩展存在限制;我们关于基准评测高估 AI 进展的分析则提醒人们,不应过度解读排行榜上的得分。 ↩︎

  4. 这份报告由四位主要作者撰写。另有两名 METR 员工也投入时间,为这项工作提供了支持和监督。 ↩︎

  5. 另一个问题涉及旨在提供具有明确含义的结果的基准评测。例如,若 SWE-bench 的任务不符合“解决 GitHub 问题”这一描述,就会出现这类问题。我们将 AECI 用作衡量整体能力的黑箱指数,因此不受这类基准评测描述问题的影响。 ↩︎

  6. 根据我们的利益冲突政策,这意味着审查质量至少应达到 METR 研究通常采用的标准:充分理解数据和分析,以判断结论是否成立;进行一致性检查;了解统计数据的来源;通读部分基础数据。 ↩︎