摘要

我们提出了一种新的视觉属性建模方法。以往的研究将属性视为与对象类似的角色，学习一种潜在表示，其中属性（例如，“切片”）通过分类器识别的方式类似于对象（例如，“苹果”）。然而，这种常见的方法未能将训练过程中观察到的属性与其组合的对象区分开来，导致在遇到新的属性-对象组合时效果不佳。相反，我们建议将属性建模为操作符。我们的方法学习一种语义嵌入，明确地将属性从其伴随的对象中分离出来，并且受益于表达属性操作符效应（例如，“钝”应该抵消“锋利”的效果）的新正则化项。我们的方法不仅在概念上与语言学中属性作为修饰符的角色相一致，而且还能泛化以识别未见过的物体和属性组合。我们在两个具有挑战性的数据集上验证了该方法，并展示了相对于现有最佳方法的显著改进。此外，我们还证明了我们的模型不仅能在开放世界环境中稳健地识别未见过的组合，还能泛化到训练过程中未曾见过的物体本身的组合。