HyperAIHyperAI

Command Palette

Search for a command to run...

从有偏场景图中恢复无偏场景图

Zhiqiang Chen Yunwen Liu Yanwei Fu Yongmei Zhang

摘要

给定输入图像,场景图生成(Scene Graph Generation, SGG)旨在生成全面的图形表示,描述显著对象之间的视觉关系。近年来,越来越多的研究致力于解决SGG中的长尾问题;然而,不同类别标签缺失比例的不平衡问题,即报告偏差,加剧了长尾现象,而现有的去偏差方法却很少考虑这一问题且无法解决。在本文中,我们指出由于标签缺失,SGG可以被视为一个“从正例和未标记数据中学习”(Positive and Unlabeled Learning, PU学习)的问题。通过利用标签频率(即所有正例中每个类别的已标记正例所占的比例),可以从有偏的概率中恢复无偏的概率,从而消除报告偏差。为了获得准确的标签频率估计值,我们提出了一种动态标签频率估计(Dynamic Label Frequency Estimation, DLFE)方法,该方法利用训练时的数据增强,并在多个训练迭代过程中取平均值以引入更多有效的样本。大量实验表明,DLFE在估计标签频率方面比传统估计方法的一个简单变体更为有效,并且DLFE显著缓解了长尾问题,在VG数据集上达到了最先进的去偏差性能。我们还通过定性分析展示了带有DLFE的SGG模型能够生成更加平衡和无偏的场景图。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供