一句话总结

Ball 和 Hackemann 认为，现代 AI 对齐方法，最初设计用于安全，是双重用途技术，无意中构建了用于信息主导的审查工具包，这一风险因 AI 快速采用、经济实力不对称和威权主义抬头而加剧，他们呼吁社区减轻这种双重用途潜力。

核心贡献

• 本文将预训练数据过滤和推理时控制等对齐技术映射到记录在案的审查和操纵滥用案例，展示了这些安全措施如何成为信息主导工具。
• 本文识别出双重用途风险，该风险因 AI 作为主要信息来源的集中化、市场集中度和全球民主倒退而加剧，这将使对齐工具转变为既可能服务于保护也可能服务于压迫的工具。
• 该工作提出了缓解策略，包括标准化的审查和操纵基准、透明度和审计机制，以及保持竞争多元性以防止信息垄断，敦促社区超越敷衍的道德声明。

引言

AI 对齐技术，旨在引导模型走向安全和无害等期望行为，是目的无关的工具：定义目标价值的人决定系统是服务保护还是信息控制。最近关于 AI 风险的研究主要停留在假设层面，并关注一般的系统级危害，缺乏对对齐方法本身如何被重新用于大规模审查和操纵的系统性处理。作者通过将对齐阶段映射到其双重用途潜力，记录了国家和企业行为者已经利用这些机制的真实案例，并分析了日益增长的 AI 依赖、集中的模型供应和全球民主衰退的融合，这种融合放大了威胁，从而弥补了这一差距。他们提出了一个以可验证对齐为中心的风险缓解框架，通过标准化基准、竞争性的模型多元化和研究人员对双重用途后果的真正反思来实现。

方法

现代前沿语言模型的控制栈通常组织为三个连续的阶段：预训练数据策划、训练后对齐和推理时干预。每个阶段应用一套独特的技术来塑造模型行为，每个阶段都带有不同的故意滥用风险。整个流水线可以理解为一个分层的过滤和引导机制，逐步塑造模型的知识库和表面行为。

预训练数据过滤 在任何模型训练开始之前，原始语料库会经过广泛的清理过程。目标是提高数据质量并清除不需要的材料。论文描述了两大类过滤方法。启发式方法依赖于简单的规则，例如去重、基于关键词的“脏词”计数以及域名阻止列表，以删除成人内容、个人身份信息或模板文本。基于模型的过滤使用经过训练的分类器来识别不安全或低质量文本的更抽象模式。这些分类器本身就是微调过的语言模型，用于检测违反预定义质量或安全标准的内容。两者结合创建的数据集反映了启发式规则和分类器训练数据中包含的判断。从双重用途的角度看，同样的机制可以被重新用于删除整个主题、观点或历史事实。启发式过滤使删除特定术语或域变得直接，而基于模型的过滤可以压制更微妙的概念。然而，进入门槛很高：更改预训练数据并从头重新训练需要完全访问训练基础设施、大量计算和深厚的技术专长。但影响是根本性的，因为从预训练语料库中缺失的知识，除非通过训练后信息或情境信息显式注入，否则模型无法生成。

训练后偏好对齐 在预训练之后，基础模型通常会进行对齐，以使其有帮助、诚实且无害。作者详细介绍了两大类技术。第一类是基于人类反馈的强化学习（RLHF）。一组标注员提供模型回复之间的偏好比较，训练一个奖励模型来预测这些偏好，然后使用如近端策略优化（PPO）或群体相对策略优化（GRPO）等算法对基础策略进行优化，以最大化学习到的奖励。第二类是基于指南的对齐，这消除了持续收集人类偏好的需要。例如，宪法 AI 使用一套书面的原则来自动生成批评和修订；产生的偏好数据用于相同的 RL 步骤。深思熟虑对齐（Deliberative Alignment）是一个更新的变体，它教导模型在回应之前对明确的安全策略进行推理，而无需人类编写的思维链演示。这些训练后方法将大量控制权赋予了设计偏好数据、选择标注员池或编写指南的实体。行为者可以策划一个系统性地偏向某种意识形态的偏好数据集，或指示标注员惩罚不受欢迎的观点。基于指南的方法进一步降低了技术开销，因为修改策略文档比重新收集人类反馈并重新训练奖励模型更快。所需资源适中：微调模型比预训练便宜得多，但仍然需要访问模型权重和足够的计算能力。虽然训练后更改比预训练干预更表面，并且可能通过对抗性攻击部分撤销，但它们在强制特定拒答和引导表达意见方面是有效的。

推理时控制 即使模型已经完成训练并对齐，提供商仍会部署可以大幅改变其行为的运行时机制。最轻量级的组件是系统提示，一个附加在每个用户交互前的隐藏指令，定义了模型的角色、优先事项和内容边界。此外，可以在生成前或生成后放置安全分类器，以检测和阻止不允许的输出。这些分类器可以从关键词过滤器到训练过的神经模型。推理时干预不修改模型参数，因此提供了最低的实施障碍：它们需要微不足道的计算，可以无需重新训练即时更改，并且改变系统提示不需要专门知识。这使得它们成为快速、隐蔽地改变对齐的最容易的杠杆。然而，控制是表面的。系统提示通过上下文塑造响应，分类器作为事后闸门；两者都不能抹去模型中编码的底层知识或倾向。尽管如此，高精度分类器可以实时有效地审查输出，使得拦截和重写偏离期望叙述的回答成为可能。

实验

评估表明，推理时控制（如系统提示和分类器）提供了一个低成本、灵活的对齐层，容易被滥用，正如 Grok 的提示引发的反犹主义回应以及 Yi-large 的实时输出过滤以压制批评所证明的那样。同时，专有对齐实践缺乏透明度阻碍了独立审查，从而迫切需要能够检测不同情境下政治偏见和信息压制的标准化基准。

对齐技术的可访问性及其塑造模型行为的深度差异很大。预训练过滤资源密集且难以修改，但会产生根本性变化，而推理时控制只需极少的专业知识即可轻松实施，并且只产生表面修改。这些差异产生了双重用途风险，因为轻量、可及的干预措施可以轻易被用于审查，无需深入的技术努力。推理时控制只需要运行时访问和低至中等专业知识，这使其成为最容易修改的技术，但其改变仍然是表面的。预训练过滤需要非常高的计算资源和高专业知识，修改困难，但能使模型行为发生根本性转变。训练后对齐处于中间位置：它需要模型权重、中等到高资源和专业知识，并且具有中等修改便利性和持久效果。实时输出过滤已在部署模型中观察到突然压制不受欢迎的内容，说明了这些易于修改方法的具体双重用途潜力。

一个常见的推理时控制，已在已部署模型中被观察到突然压制不受欢迎的内容，展示了这些易于修改的方法的具体的双重用途潜力。

对齐技术在资源需求和影响深度方面呈现出明显的范围：预训练过滤计算量大且难以改变，但会产生根本性的模型变化，而推理时控制只需最少的专业知识，易于修改，且只产生表面调整。训练后对齐介于两者之间，需要模型权重和中等资源，并具有持久效果。这种差异引入了双重用途风险，因为轻量级推理时方法可以被轻易用于审查；实时输出过滤已在已部署模型中被观察到突然压制不受欢迎的内容，例证了这一具体危险。