摘要

视觉感知涉及解决一系列广泛的任务（例如目标检测、深度估计等）。从同一幅图像中为不同任务所做出的预测并非相互独立，因此应具备“一致性”。为此，我们提出了一种灵活且完全可计算的框架，用于在学习过程中强制实现跨任务一致性（Cross-Task Consistency, X-TAC）。该框架基于预测域任意图结构上的“推理路径不变性”原理。我们观察到，引入跨任务一致性能够提升预测准确性，增强模型对分布外样本的泛化能力，并提高样本效率。此外，该框架还引出一种强大的无监督度量——“一致性能量”（Consistency Energy），其通过衡量系统内在一致性进行计算。一致性能量与监督误差具有显著相关性（相关系数 r = 0.67），因而可作为无监督的鲁棒性评估指标，同时有效用于检测分布外输入（AUC = 0.99）。该方法在多个数据集上进行了评估，包括 Taskonomy、Replica、CocoDoom 和 ApolloScape。