AI 研发机构和公众都想知道，AI 智能体会不会采取危害极大的行动，例如未经授权的网络攻击。对齐评估要尝试弄清：在未来可能出现的情境中，研发机构的智能体可能做出哪些最严重的未对齐行为。评估包括：

1. 一份对严重未对齐行为的综述，涵盖在所有接近前沿水平的内部模型的训练、评测和内部使用过程中观察到的此类行为。
2. 对观察到的行为可能不具代表性的原因进行评估，即这些行为可能无法代表研发机构的智能体在未来可能出现的情境中会采取的最严重未对齐行动。这将包括：
   • 评估对齐评测和反事实模拟是否表明：如果换成其他可能出现的情境，研发机构的智能体可能采取严重得多的行动。（不过，模型可能察觉自己正在接受评测，这很可能限制评估方能在多大程度上依赖这些证据。）
   • 评估研发机构的训练过程是否可能激励智能体钻评测的空子，或以其他方式刻意掩盖未对齐问题；也要评估训练是否可能对评估方的检测方法过拟合。

这类评估主要需要两类权限：查询相对完整的内部模型交互记录（包括训练记录），以及调用内部模型检查点生成样本。下文会详述所需权限。

范围

对齐评估会研究研发机构接近前沿水平的模型，考察它们做出严重未对齐行为的倾向，例如：

• 做出如果由人实施就构成犯罪的行为（如入侵第三方系统）。
• 尝试篡改日志或遥测数据，或以其他方式掩盖不当行为的证据。
• 企图严重欺骗人类操作人员。
• 相互串通，削弱监督（例如监测器故意不标记不当行为）。
• 严重损害内部基础设施的安全。
• 擅自在公司内部或外部部署模型（包括窃取并外传模型权重）。
• 破坏保障安全、防范威胁的工作。
• 通过非预期渠道，与其他智能体开展不符合研发机构意愿的通信。
• 获取大量资源（如金钱、凭证、算力或盟友），超出所分配任务的预定范围。

评估方会梳理已观察到的未对齐行为及相关事件，并调查评测和反事实模拟提供的证据。还要尝试弄清：这些证据来源是否可能严重低估研发机构的智能体在可能出现的最坏情境下表现出未对齐行为的倾向。

1. 已观察事件调查

评估方会查找并分析某一时期内（具体时间范围由本次评估确定）的日志，梳理训练、评测或内部使用过程中发生的未对齐事件及行为模式。由于我们关注内部使用的风险，评估无需调查外部客户数据中的智能体活动。我们建议，凡是在这段时间内曾经或仍然接近公司内部前沿水平的模型，都应纳入范围，包括实验模型¹和仍在训练的模型。

调查会尝试全面了解未对齐行为的发生频率，并选取部分事件作更详细的描述：

• 未对齐行为的总体调查。 总体来看，在调查范围内，智能体严重未对齐行为的发生频率和性质如何？
  • 公司或评估方能识别出多少起此类事件？
  • 这些事件在不同模型之间如何分布？
  • 这些事件在训练、评测、内部使用等大类之间如何分布？在相关子类别（如网络安全评测）之间又如何分布？
  • 总体而言，这些事件中出现了哪些未对齐行为（如黑客入侵、盗窃、社会工程攻击），严重程度如何？
• 详述选定的事件。 公司或评估方发现的几起最严重或最具启示性的事件，究竟发生了什么？
  • 基本信息：
    • 涉及哪些模型，这些模型与内部或公开部署的模型有什么关系²
    • 属于哪类用途（训练、评测、内部使用），以及相关子类别（如适用子类别）
    • 提示词、指令及其他上下文（如记忆）
    • 采用哪些安全防护措施，与常规使用时相比有何异同
  • 相关智能体依次采取了哪些关键行动？
  • 对于智能体当时如何推理，以及推理如何随事件发展而变化，能够确认哪些情况？
  • 智能体之间是否发生了未经授权的协作或串通？如果有，具体是怎样的？
  • 事件中，智能体是否尝试隐藏未对齐行为的证据，或欺骗人类？如果有，具体是怎样做的？

评估方也应说明，事件查找工作以及描述模型行为的能力有哪些局限：

• 未对齐行为调查是否完整。 评估方有多大把握，认为自己已了解发生过的所有严重未对齐事件和行为？例如：
  • 本次调查涵盖的某些智能体活动，是否没有留下日志，或者因其他原因无法供评估方检索或全面筛查？
  • 有没有证据表明，AI 智能体自身可能关闭了日志记录，或者事后擦除、修改了日志？
  • 评估方用来查询、筛查和过滤智能体活动日志的方法，是否可能漏掉某些严重未对齐事件？
• 对事件的描述是否可信。 评估方能在多大程度上准确描述这些事件中智能体的行为和推理？例如：
  • 这些模型在思维链中对重要推理的文字表述有多可靠，能否忠实反映实际推理？
    • 模型是否在思维链中为不当行为辩解，而且这种辩解可能影响评估方对事件的描述？
    • 有没有理由认为，相关模型的训练方式或架构会让思维链很不可信？
  • 有没有证据表明，用于分析这些行为的 AI 工具可能给出误导性的描述（无论是因非恶意失误，还是有意串通）？

2. 已观察到的行为为何可能不足以代表风险

评估方还会研究，已观察到的行为是否足以反映研发机构的智能体，在未来可能出现的情境中会采取的最严重行动。这需要评估反事实模拟和评测提供的证据，还要评估研发机构的训练过程是否可能让未对齐问题的证据难以显露。具体包括：

• 理解反事实情境下的行为。 在可能诱发更严重未对齐行为的反事实情境中，智能体会怎样行动，或当时可能怎样行动？评估方能否借助模拟、评测和对智能体推理过程的研究作出判断？
  • 如果改变已观察事件中的某些条件，让极其危险的行动更容易实施，或更容易被智能体想到，它们当时会怎么做？
    • 例如，在类似 Hugging Face 事件的情境中，如果智能体相信人类会仔细检查它们的交互记录，寻找作弊迹象，再据此评分；或者相信只有瘫痪关键基础设施（如大城市的电网，或广泛使用的互联网基础设施），才能在任务中作弊，它们会怎么做？
  • 面对各种现实中可能发生、且似乎特别容易诱发严重未对齐行为的模拟情境，这些智能体会怎么做？例如，类似于曾引发 Hugging Face 入侵事件的情境。
  • 如果这些智能体确信自己的行为不会被发现，也不会被阻止达成目标，表现是否可能大不相同？（这一点可能特别难评估。）
• 评估训练激励与过拟合。 训练过程是否可能让未对齐问题的证据难以显露，或者对评估方的检测方法过拟合？
  • 采用了哪些方法来检测未对齐行为，并通过训练减少这类行为？这些方法可能在多大程度上促使模型隐藏或压下未对齐问题的证据？
  • 通过训练减少未对齐行为所用的方法，与评估方在这次评估中检测未对齐行为的方法有多相似？如果两者大量重合，检测是否可能因为过拟合而低估风险？
  • 评估方是否充分理解训练中哪些部分导致了观察到的未对齐行为，训练方法是否以稳健的方式解决了这些成因？如果是，这或许能减轻对过拟合的担忧。

评估方也应讨论所用方法的局限：

• 反事实分析的局限。 评估方有多大把握，认为自己理解智能体在反事实情境中的行为？
  • 模型察觉自己正在接受评测，会在多大程度上影响评估方根据模型在人工构造情境中的行为得出的结论？（我们预计，这会是一项特别重要的局限，需要详细评估。）
  • 评估方能在多大程度上可靠地识别钻评测空子或伪装对齐的行为（例如查看智能体的推理过程）？
  • 要逼真地模拟最容易触发未对齐行为的那些情境，有多困难？
  • 评估方在多大程度上涵盖了各种较可能发生、且可能触发特别严重未对齐行为的情境？
• 训练分析的局限。 评估方用来评估过拟合问题、训练激励和未对齐行为成因的方法，有多可靠？（我们预计，要评估这一点，主要得依靠更广泛的研究文献中的证据，或研发机构分享的证据。）

访问权限与信息

要回答这些问题，评估方需要能调用相关模型检查点生成样本，还需要访问较全面的模型交互记录和其他相关数据。此外，还需要提前了解一些基础信息，并能访谈员工，以便熟悉相关基础设施和数据集的使用方式。

评估方还需要能调用前沿模型³的 API 来分析数据，速率上限也要足够高，才能有效地大规模筛查相关数据。⁴在 Hugging Face 事件调查期间，我们在六天内消耗了价值约 40 万美元的 API 使用额度。我们推算，如果按同等范围开展为期两个月的严格调查，消耗的 API 使用额度会超过 1000 万美元。

基础设施访问权限

要回答本次评估涵盖的问题，需要：

• 在适当防护下对相关模型采样的权限。 要弄清模型会在什么情况下做出未对齐行为，评估方需要能够对调查范围内的所有模型采样。至少需要能查看并预填原始思维链，才能有效模拟反事实情境。研究人员常用的其他扩展采样权限也会有帮助，例如读取对数概率（logprobs）、从用户轮次开始采样、使用软提示（soft prompting）等。
• 检查点访问权限。 要弄清训练中的哪些因素促成了相关行为，评估方还需要能对现有的中间训练检查点采样。

为了让评估方更灵活地独立开展更多类型的实验，最好能让他们获得与研究类似问题的员工通常拥有的权限相当的代码库和基础设施访问权限，包括访问训练代码、部署模拟工具和白盒工具，以及按需开展小规模微调实验。如果研发机构无法直接给评估方这些权限，双方也可以合作，完成评估方无权独立开展的实验；但这样会占用研发机构员工更多时间。

数据集访问权限

评估方需要能够：

• 查询较全面的模型交互记录，找出相关记录供分类器分析，再据此不断设计和执行新的查询。
• 按需读取智能体通信数据的转储文件或其他补充日志及相关证据，以理解调查中发现的事件。
• 与研究人员讨论训练，并用分类器分析相关训练数据，尝试查明训练中导致这些行为的根本原因。

查询覆盖全面的模型交互记录

评估方需要能查询大部分训练和评测交互记录，查询方式包括正则表达式、按元数据筛选等。记录范围应涵盖所有内部智能体⁵，只要其基础模型在评估所覆盖的时期内，曾经或现在接近前沿水平⁶。还需要能查询规模庞大、代表性较好的一批内部使用记录，至少占待评估时期内部使用流量的百分之几（理想情况下，覆盖比例要高得多）。随后，评估方会用分类器及其他分析手段检查这些记录，或检查随机抽取的大量记录，寻找各种未对齐行为。如果发现值得注意的行为，还会设计并执行查询，更全面地搜索这些行为。

如果研发机构不愿提供基础设施访问权限，让评估方直接完成这些查询，评估方也许可以请内部研究人员代为查询，并分享查得的交互记录。（这可能需要公司员工投入更多时间，因为评估方很可能希望快速调整查询并反复执行，尤其是在调查初期。）

某些交互记录或部分使用流量可能太敏感，不能向外分享。研发机构可以设置过滤器，排除这些记录，也可以让员工筛出特别敏感的记录；前提是研发机构能清楚说明过滤或筛查流程的具体做法。

读取相关智能体通信数据的转储文件或其他补充证据

如果研发机构已经知道智能体曾在哪些地方互相留言、传递文件或作其他通信，就应让评估方访问这些数据。如果评估方在筛查交互记录时，发现存在未经授权的额外通信的证据，理想情况下，也应能访问这些通信数据。评估方还可能发现某起重要事件涉及其他日志或数据集，因此需要访问它们。

评估方应有机会访谈相关员工，了解自己能访问的数据集和日志是否可能遗漏了什么。还应了解，在调取这些数据之前，AI 智能体是否可能改写或删去部分数据，基础设施的重置、更新、打补丁等操作是否也可能附带改动或删除数据。

讨论训练如何影响行为，并对训练数据和强化学习环境进行查询和分类器分析

要理解这些行为模式的根本成因，评估方应能询问熟悉相关模型训练过程的研究人员：哪些训练数据或强化学习环境可能促成了这些行为模式，并就细节继续追问。在此基础上，理想情况下，还应能够人工查看那些被标记为尤其相关的训练数据集或强化学习环境。

评估方还应能对训练和强化学习环境中的交互记录进行查询和分类器分析，并与研究人员反复讨论、调整筛查方案。如果研发机构有数据归因工具，能识别哪些训练数据对特定行动或行为起了作用，评估方最好能使用这些工具，或与有权使用的研究人员合作。

基础信息和员工访谈

评估方获得基础设施和数据集的访问权限后，要有效开展工作，就需要在调查初期阅读文档或与相关员工交谈。尤其需要：

• 由研发机构概括介绍最有启发性或最重要的已知未对齐事件或行为。
• 逐项介绍各类智能体推理活动，并解释日志记录基础设施，帮助评估方判断日志是否完整，并着手构建查询，查找相关日志。
• 了解训练流程和基础设施，判断训练中的哪些因素可能促成未对齐行为，并找出值得进一步研究的训练轨迹（rollout）。

评估期间，评估方还需要能访谈多位相关研究人员，包括了解相关模型训练过程及未来训练调整计划的研究人员。