3 个月前

任意风格迁移与领域泛化的精确特征分布匹配

任意风格迁移与领域泛化的精确特征分布匹配

摘要

任意风格迁移(Arbitrary Style Transfer, AST)与域泛化(Domain Generalization, DG)是视觉学习中重要且具有挑战性的任务,均可建模为特征分布匹配问题。传统特征分布匹配方法通常基于特征服从高斯分布的假设,通过匹配特征的均值与标准差来实现分布对齐。然而,现实世界数据的特征分布远比高斯分布复杂,仅依赖一阶与二阶统计量难以精确匹配;而采用高阶统计量进行分布匹配在计算上又往往不可行。在本工作中,据我们所知,首次提出通过精确匹配图像特征的经验累积分布函数(empirical Cumulative Distribution Functions, eCDFs)来实现精确特征分布匹配(Exact Feature Distribution Matching, EFDM)。该方法可通过在图像特征空间中应用精确直方图匹配(Exact Histogram Matching, EHM)来实现。特别地,本文引入一种高效的EHM算法——Sort-Matching,以轻量级、即插即用的方式实现EFDM,计算开销极低。所提出的EFDM方法在多种AST与DG任务上均得到验证,取得了新的最先进性能。相关代码已开源,地址为:https://github.com/YBZh/EFDM。

代码仓库

zhongliangguo/acdm
pytorch
GitHub 中提及
ybzh/efdm
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
style-transfer-on-stylebenchEFDM
CLIP Score: 0.561

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
任意风格迁移与领域泛化的精确特征分布匹配 | 论文 | HyperAI超神经