3 个月前

用于领域自适应语义分割的双层交互

用于领域自适应语义分割的双层交互

摘要

自训练方法近年来在领域自适应语义分割中占据了重要地位,其核心思想是利用目标域的伪标签对模型进行训练。尽管当前研究已有效缓解了因域差异导致的伪标签噪声问题,但在语义分类器边界附近仍难以避免错误伪标签的产生。针对这一挑战,本文提出一种面向语义分割的双层交互领域自适应方法(Dual-Level Interaction for Domain Adaptation, DIDA)。具体而言,我们促使同一像素在不同增强视图下的表现不仅在类别预测上保持一致(语义层面),同时在与其他像素的相似性关系上也趋于一致(实例层面)。由于无法存储整个数据集中所有像素实例的特征,我们设计了一个动态更新策略的有标签实例库,仅选择性地保留具有信息量的实例特征。此外,DIDA通过散射与聚合技术实现跨层次交互,从而生成更为可靠的伪标签。实验结果表明,该方法显著优于现有最先进方法,尤其在易混淆类别和长尾类别上表现突出。代码已开源,地址为:\href{https://github.com/RainJamesY/DIDA}{https://github.com/RainJamesY/DIDA}。

代码仓库

rainjamesy/dida
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
unsupervised-domain-adaptation-on-gtav-toDIDA
mIoU: 71.0
unsupervised-domain-adaptation-on-synthia-toDIDA
MIoU (16 classes): 63.3
mIoU: 63.3
mIoU (13 classes): 70.1

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
用于领域自适应语义分割的双层交互 | 论文 | HyperAI超神经