IFEval-Inverse 是由 ByteDance Seed 联合南京大学、清华大学等机构于 2025 年发布的一个面向大型语言模型的对抗性指令评测数据集，相关论文成果为「Inverse IFEval: Can LLMs Unlearn Stubborn Training Conventions to Follow Real Instructions?」，旨在检验模型在面对逆向或反常指令时能否打破训练惯性，实现真正的指令遵循。 该数据集包含 1,012 条高质量中英双语问题样本，涵盖 8 种类型的反常指令挑战，包括问题纠错、故意文本错误、无注释代码、反常格式化、故意错误答案、诱导式提问、中途修改指令和反事实问答，并涉及 23 个不同领域。每条样本都经过人机结合的筛选与验证，并采用 LLM-as-a-Judge 自动评分机制，适用于评估和提升模型在非传统指令场景下的适应性和鲁棒性，也为研究如何缓解模型的认知惯性提供了重要基准。

Citation

@misc{zhang2025inverseifevalllmsunlearn, title={Inverse IFEval: Can LLMs Unlearn Stubborn Training Conventions to Follow Real Instructions?}, author={Qinyan Zhang and Xinping Lei and Ruijie Miao and Yu Fu and Haojie Fan and Le Chang and Jiafan Hou and Dingling Zhang and Zhongfei Hou and Ziqiang Yang and Changxin Pu and Fei Hu and Jingkai Liu and Mengyun Liu and Yang Liu and Xiang Gao and Jiaheng Liu and Tong Yang and Zaiyuan Wang and Ge Zhang and Wenhao Huang}, year={2025}, eprint={2509.04292}, archivePrefix={arXiv}, primaryClass={cs.CL}, url={https://arxiv.org/abs/2509.04292}, }