4 个月前

无监督基于部件的对象形状和外观解缠

无监督基于部件的对象形状和外观解缠

摘要

类内大变异是由多个对象特征的变化引起的。然而,图像仅显示了不同可变因素(如外观或形状)的叠加效果。因此,学习如何解耦并表示这些不同的特征是一项巨大挑战,尤其是在无监督情况下。此外,大范围的对象变形需要一个灵活的基于部件的模型。本文提出了一种无监督方法,通过在类别中所有实例上一致地学习部件来解耦外观和形状。我们的对象表示模型通过同时利用合成变换图像之间的不变性和等变性约束进行训练。由于不需要任何部件注释或对象类别的先验信息,该方法适用于任意类别。我们在多种对象类别和多样化的任务上评估了该方法,包括姿态预测、解耦图像合成和视频到视频翻译。实验结果表明,该方法在无监督关键点预测方面优于现有最先进方法,在形状和外观迁移任务上也与有监督方法具有竞争力。

代码仓库

基准测试

基准方法指标
unsupervised-facial-landmark-detection-on-1Lorenz2019unsupervised
NME: 3.24
unsupervised-facial-landmark-detection-on-5Lorenz2019unsupervised
NME: 11.41

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
无监督基于部件的对象形状和外观解缠 | 论文 | HyperAI超神经