本文聚焦于RGB-D动作识别中的异质特征学习问题。我们发现不同模态（RGB图像与深度图）所提取的特征在隐含结构上存在一定的共性，因此提出一种联合学习模型，旨在以异质多任务学习的范式，同时挖掘特征的共享成分与模态特异性成分。所提出的模型构建在一个统一的框架中，具备以下能力：1）联合挖掘一组维度相同的子空间，以揭示不同特征通道之间的潜在共享特征；2）同时量化子空间中特征的共享成分与模态特异性成分；3）迁移模态特异性的中间变换（i-transforms），实现跨数据集的异质特征融合学习。为高效训练该联合模型，本文进一步设计了一种三步迭代优化算法，并配套提出一个简洁的推理模型。在四个动作识别数据集上的大量实验结果验证了所提方法的有效性。此外，本文还构建了一个面向人-物交互的新型RGB-D动作识别数据集，为RGB-D动作识别基准测试带来了更具挑战性的新场景。