摘要

我们提出了一种名为双高斯过程（Twin Gaussian Processes, TGP）的通用结构化预测方法。该方法在协变量（输入）和响应变量（输出）上均采用高斯过程（GP）先验，且两者均为多元变量。TGP通过最小化两个高斯过程之间的Kullback-Leibler散度来估计输出，这两个高斯过程被建模为训练样本和测试样本有限索引集上的正态分布。该方法强调的核心目标是：相似的输入应产生相似的输出（感知），并且这一性质在平均意义上应成立，即在输入与输出的边缘分布之间保持一致。与传统高斯过程仅建模协变量之间的依赖关系不同，TGP同时捕捉了协变量之间以及响应变量之间的相互依赖关系，从而能够全面考虑输入与输出之间的相关性。在近期提出的HumanEva基准测试中，TGP被应用于从单目和多相机视频序列中重建三维人体姿态，取得了令人鼓舞的结果：在联合训练的模型中，对多个个体和多种动作的数据进行建模，平均每个三维标记点的重建误差仅为5厘米。该方法具有高效性和自动化特性，无需人工设计初始姿态、相机标定参数，也无需依赖与训练或测试对象相关的三维人体模型，显著降低了应用门槛，具备良好的实用前景。