3 个月前

FREDOM:面向语义场景理解的公平域适应方法

FREDOM:面向语义场景理解的公平域适应方法

摘要

尽管近年来语义场景分割中的域适应(Domain Adaptation)技术取得了显著进展,但域适应过程中存在的公平性问题尚未得到充分定义与有效解决。此外,在将分割模型应用于与人类密切相关的现实场景(如自动驾驶)时,公平性是至关重要的考量因素,任何不公平的预测都可能对人类安全造成潜在影响。为此,本文提出一种新型的公平性域适应方法——FREDOM(Fairness Domain Adaptation for Semantic Scene Segmentation)。具体而言,基于所提出的公平性优化目标,本文设计了一种新的域适应框架,该框架强调对各类别分布的公平处理。同时,为更全面地建模结构依赖关系的上下文信息,本文引入了一种新的条件结构约束,以强制预测结果在结构上保持一致性。得益于所提出的条件结构网络(Conditional Structure Network),自注意力机制得以充分捕捉分割结果的结构信息。消融实验表明,所提方法不仅提升了分割模型的性能,同时显著增强了模型预测的公平性。在两个标准基准数据集(SYNTHIA → Cityscapes 和 GTA5 → Cityscapes)上的实验结果进一步验证了本方法达到当前最优(State-of-the-Art, SOTA)的性能表现。

代码仓库

uark-cviu/fredom
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
domain-adaptation-on-gta5-to-cityscapesFREDOM - Transformer
mIoU: 73.6
domain-adaptation-on-gta5-to-cityscapesFREDOM - DeepLabV2
mIoU: 61.3
domain-adaptation-on-synthia-to-cityscapesFREDOM - Transformer
mIoU: 67
domain-adaptation-on-synthia-to-cityscapesFREDOM - DeepLabV2
mIoU: 59.1

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
FREDOM:面向语义场景理解的公平域适应方法 | 论文 | HyperAI超神经