本文提出了一种联合多任务学习算法，旨在利用深度卷积神经网络（CNN）更准确地预测图像中的属性。我们采用多任务CNN模型来学习二值语义属性，其中每个CNN负责预测一个二值属性。多任务学习使不同属性类别之间的CNN模型能够同时共享视觉知识。每个CNN生成特定于属性的特征表示，随后我们在这些特征基础上应用多任务学习以预测其对应的属性。在所提出的多任务框架中，我们提出一种方法，将整体模型的参数分解为一个潜在任务矩阵和一个组合矩阵。此外，对于样本数量较少的分类器，可通过利用其他分类器共享的统计信息来提升其性能。我们引入了属性的自然分组机制，使得同一组内的属性被鼓励共享更多知识，而不同组之间的属性则通常相互竞争，从而减少知识共享。实验结果表明，该方法在两个主流属性数据集上均具有良好的有效性。