一句话总结

针对后验对齐的脆弱性，本工作引入了一个以数据为中心的安全预训练框架，通过安全过滤、重述、原生拒绝数据集（如 RefuseWeb 和 Moral Education）以及 Harmfulness-Tag 标注预训练，将安全性构建到大语言模型中，在标准 LLM 安全基准测试中将攻击成功率从 38.8% 降低至 8.4%，且未降低通用任务性能。

核心贡献

• 以数据为中心的预训练框架从一开始就将安全性整合到大语言模型中，而不是依赖脆弱的后验对齐方法。该框架利用安全分类器将网络数据分类为安全和不安全类别。
• 安全重述重新构建不安全 webdata 的语境，而 Harmfulness-Tag 标注预训练使用特殊 token 标记内容，以在推理时引导模型远离不安全生成。RefuseWeb 和 Moral Education 预训练数据集主动教导模型拒绝不安全内容并理解潜在的道德推理。
• 安全预训练模型在标准 LLM 安全基准测试中将攻击成功率从 38.8% 降低至 8.4%。这一改进是在不导致通用任务性能下降的情况下实现的。

引言

随着人工智能日益渗透到医疗保健和公共政策等关键领域，生成有害或有毒内容的风险显著增加。传统的后验对齐技术，如基于人类反馈的强化学习，往往产生表面的安全改进，在对抗压力下失效，且无法有效遗忘内部化的不安全信息。作者利用以数据为中心的策略，将安全性直接嵌入预训练过程，而不是依赖训练后调整。他们引入了鲁棒的安全过滤机制、用于在伦理框架下处理潜在有害数据的合成重新语境化，以及危害性标签标注，以帮助模型区分不安全内容。该框架产生了 SafeLM 模型，在保持标准 NLP 基准测试性能的同时，显著降低了攻击成功率。

数据集

数据集组成与来源

• 作者基于 SmolLM2 预训练语料库构建，其中包括 FineWeb-Edu、StackOverflow、FineMath 和 Cosmopia。
• 他们引入了三个源自 FineWeb 和 FineWeb-Edu 的专用安全数据集：SafeWeb、RefuseWeb 和 Moral Education。
• 所有特定安全数据集均在 Hugging Face 上的 locuslab 组织下公开可用。

每个子集的关键细节

• SafeWeb: 包含超过 100B tokens 的合成重新语境化数据。作者从标注了安全分数的 FineWeb-Edu 样本开始。有害内容经过 LLaMA-3.1-8B 重写，以解释风险并提供背景，而不是传播危险。
• RefuseWeb: 精选自安全分数较高（4 或 5）的 FineWeb 样本。问题文本被转换为 User-Assistant 对话，其中 Assistant 以教育性理由拒绝请求。
• Moral Education: 源自 RefuseWeb 对话。作者使用 LLaMA 3.1-8B-Instruct 将对话式拒绝转换为适合公共平台的连贯教育文章或段落。

训练用途与混合

• 预训练： 使用 LitGPT 框架训练具有 1.7B 参数的模型。作者遵循 SmolLM2 设置，但整合了安全感知数据。
• 训练后： 指令微调利用 Hugging Face Ultrachat-200k、AllenAI WildGuardMix 和 WildJailbreak 数据集的混合。
• 安全注入： 对于使用 Harmfulness-Tag 标注训练的模型，作者从 WildGuardMix 中注入 10% 的 Harmfulness-Tag 标注完成内容到指令微调数据集中，以引导正确的推理行为。

处理与安全评分

• 安全评分： 条目根据自定义分类器获得 1 到 5 的分数。最终分数是 LLM 基础详细安全评分标准与基于嵌入的分类器之间的最大值。
• 重述策略： 该流程通过在敏感观点之前包含明确的免责声明和背景陈述，确保每个句子在单独阅读时保持安全。
• 元数据构建： 在 RefuseWeb 的 tokenization 期间，User 和 Assistant 等通用术语被替换为个人姓名或职业角色以增强多样性。
• 有害内容分析： 作者使用 Infini-gram 查询 14 类有害 n-grams（如暴力犯罪或仇恨），以可视化毒性水平并生成数据安全报告卡。

方法

作者提出了一个以数据为中心的预训练框架，旨在从一开始就将安全性构建到语言模型中，而不是依赖脆弱的后验对齐。该框架通过四个关键步骤运行：安全过滤、安全重述、原生拒绝训练和 Harmfulness-Tag 标注预训练。目标是在保持通用任务性能的同时，降低标准安全基准测试上的攻击成功率。

为了策划更安全的预训练数据集，作者首先分析并标注具有不同潜在危害级别的数据。安全过滤管道由多层组成，以确保信息内容不会丢失。他们采用基于 LLM 的分类器对数据进行评分和分类，跨越五个安全风险级别。此外，他们使用在专家标注示例上训练的微调基于嵌入的过滤器来分类安全性，而不移除事实知识。最终安全分数通过取两种方法中的最高分数来确定，以在数据过滤期间最大化不安全示例的召回率。

对于被识别为不安全但包含有用信息的内容，作者实施安全重述。此过程将不安全 webdata 重新语境化为更安全的叙述。提示模板指导重述过程，以确保敏感话题在教育背景下得到解释。目标是在将潜在有害内容重写为不鼓励负面行为的教育解释的同时，保留核心思想。

该架构中的一个关键模块是 Harmfulness-Tag 标注预训练。对于通过原始数据安全评分识别出的每个不安全片段，作者在随机选择的位置注入特殊 token <potentially_unsafe_content>，占输入序列长度的 5%。该标签充当行内警告，向模型信号表明周围内容需要谨慎解释。此设置在训练期间使模型条件化，以便为安全与不安全输入开发不同的内部表示。

在推理期间，模型利用这种关联将生成引导至更安全的完成内容。作者引入了 Safe Beam Search，这是一种解码时算法，通过轻量级基于前瞻的过滤机制增强标准束搜索。在每一步，对于每个候选束，模型使用单 token 前瞻计算下一步 <potentially_unsafe_content> token 的概率 $p_\tau(y')$pτ​(y′)。该算法丢弃危害性标签概率最高的 50% 的束。从剩余集合中，根据标准对数似然评分选择前 $k$k 个候选项。这确保了可能导致不安全内容的束被过滤，同时保持流畅性和连贯性。

实验

利用标准基准测试和专用安全测试的实验验证了安全预训练在保留通用能力的同时，创建了针对对抗攻击原生鲁棒的模型。研究结果表明，仅通过指令微调进行的安全对齐是脆弱的，并在良性微调后退化，而使用 Harmfulness-Tag 和重述不安全内容的预训练确保了持久的保护。此外，消融研究证实，与简单数据过滤相比，将拒绝数据与道德教育结合会产生更优越的安全结果。

作者评估了专注于安全的数据干预对标准语言建模基准测试的影响，以确保保留通用能力。结果表明，使用全面安全干预（如重述和道德教育）训练的模型保持了与在原始网络数据上训练的模型相当的性能水平。相比之下，将训练数据限制为仅安全子集会导致各种任务的通用性能下降。将训练限制为仅安全数据子集会导致与原始数据训练相比，大多数基准测试的性能较低。在训练集中添加重述内容通常会提高性能指标，优于原始数据基线。将拒绝数据与道德教育结合，在多样化任务中保持了与原始数据训练相似的性能水平。

作者评估了各种安全分类器方法，以确定在预训练期间过滤不安全内容的最有效方法。虽然基于嵌入的模型通常比基于 LLM 的分类器实现更高的 F1 分数，但传统基线在所有指标上表现明显更差。结合 LLM 和嵌入模型的集成策略被确定为最鲁棒的方法，优先考虑高召回率以确保最小化有害数据泄露。与传统嵌入和基于 LLM 的方法相比，传统基线（如脏话检查器和 LLaMA Guard）表现出明显更低的召回率。在分类任务的整体 F1 分数方面，基于嵌入的分类器通常优于基于 LLM 的分类器。LLM 和嵌入模型的集成实现了最高的召回率，提供了更适合训练数据准备的更严格的安全过滤器。

作者评估了专注于安全的数据干预对通用语言建模能力的影响，发现重述和道德教育等全面方法保持了与原始网络数据相当的性能。相比之下，将训练限制为仅安全子集会导致通用性能下降，而将拒绝数据与道德教育结合确保了跨多样化任务的鲁棒性。此外，关于安全分类器的实验表明，结合 LLM 和嵌入模型的集成策略通过优先考虑高召回率而非传统基线，为预训练数据提供了最鲁棒的过滤。