
摘要
属性与对象可以组合形成多样化的复合结构。为了建模这类通用概念的组合特性,通过变换(如耦合与解耦)来学习其表示是一种合理的选择。然而,复杂的变换过程必须遵循特定原则,以确保其逻辑合理性。本文首次提出了一种此前被忽视的属性-对象变换原则:对称性(Symmetry)。例如,将“去皮”属性与“苹果”进行耦合,应得到“去皮苹果”;而从“苹果”中解耦“去皮”属性后,仍应恢复为原始的“苹果”。基于该对称性原则,我们构建了一个受群论启发的变换框架,称为 SymNet。SymNet 由两个核心模块组成:耦合网络(Coupling Network)与解耦网络(Decoupling Network)。在群公理与对称性性质的约束下,我们采用深度神经网络实现 SymNet,并以端到端的方式进行训练。此外,我们提出一种基于相对移动距离(Relative Moving Distance, RMD)的识别方法,通过利用属性变化而非属性本身的模式来进行属性分类。所提出的对称性学习方法可有效应用于组合零样本学习(Compositional Zero-Shot Learning)任务,并在多个广泛使用的基准数据集上超越现有最先进方法。代码已开源,地址为:https://github.com/DirtyHarryLYL/SymNet。
代码仓库
DirtyHarryLYL/SymNet
官方
tf
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| compositional-zero-shot-learning-on-mit-2 | SymNet | Top-1 accuracy %: 19.9 Top-2 accuracy %: 28.2 Top-3 accuracy %: 33.8 |
| compositional-zero-shot-learning-on-mit-3 | SymNet | H-Mean: 16.1 Seen accuracy: 24.4 Test AUC top 1: 3.0 Test AUC top 2: 7.6 Test AUC top 3: 12.3 Unseen accuracy: 25.2 Val AUC top 1: 4.3 Val AUC top 2: 9.8 Val AUC top 3: 14.8 |
| compositional-zero-shot-learning-on-ut-zappos-1 | SymNet | Top-1 accuracy %: 52.1 Top-2 accuracy %: 67.8 Top-3 accuracy %: 76.0 |