摘要

DeepSeek-R1 的出现标志着人工智能行业，尤其是大语言模型（LLMs）的一个转折点。其在多项任务中的表现展示了卓越的能力，包括创造性思维、代码生成、数学运算和自动化程序修复，且似乎以较低的执行成本实现了这些性能。然而，大语言模型必须具备一个重要的定性属性，即它们需要与安全性和人类价值观保持一致。DeepSeek-R1 的一个明显竞争对手是美国的同类产品——OpenAI 的 o3-mini 模型，该模型预计将在性能、安全性和成本方面设定高标准。本文对 DeepSeek-R1（700亿参数版本）和 OpenAI 的 o3-mini（测试版）的安全水平进行了系统评估。为此，我们使用了最近发布的自动化安全测试工具 ASTRAL。通过利用这一工具，我们自动且系统地为两个模型生成并执行了总计 1260 个不安全的测试输入。在对两个大语言模型提供的结果进行半自动评估后，结果显示 DeepSeek-R1 相比于 OpenAI 的 o3-mini 存在较高的安全隐患。根据我们的评估，DeepSeek-R1 对 11.98% 的测试提示做出了不安全的回答，而 o3-mini 则仅为 1.19%。