双模策略优化（Bi-mode Policy Optimization, BPO）是由腾讯混元团队与中科院自动化于 2025 年 8 月合作提出的，相关研究成果发表于论文「R-4B: Incentivizing General-Purpose Auto-Thinking Capability in MLLMs via Bi-Mode Annealing and Reinforce Learning」。

BPO 是一种专为自动思考设计的强化学习算法，与需要复杂奖励函数、高度依赖数据或容易受到超参数敏感性的现有强化学习（RL）方法不同，BPO 利用简单、基于规则的数学奖励。该方法强制包含思考和与非思考模式，使得模型在 RL 训练过程中被防止偏向某一特定模式。