3 个月前

基于掩码预训练与协同自训练的无监督视频域适应

基于掩码预训练与协同自训练的无监督视频域适应

摘要

在本研究中,我们针对视频动作识别任务中的无监督域自适应(Unsupervised Domain Adaptation, UDA)问题提出了一种新方法,命名为UNITE。该方法利用一个图像域教师模型,指导视频域学生模型向目标域进行适应。UNITE首先通过自监督预训练,借助教师引导的掩码蒸馏目标函数,在目标域视频上促进更具判别性的特征学习。随后,我们对掩码后的目标域数据进行自训练,结合视频学生模型与图像教师模型,共同生成更高质量的伪标签,用于未标注的目标域视频。该自训练过程有效融合了两个模型的优势,实现了跨域之间出色的迁移性能。我们在多个视频域自适应基准数据集上对所提方法进行了评估,结果表明,相较于以往报道的成果,本方法取得了显著的性能提升。

代码仓库

reddyav1/unite
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
domain-adaptation-on-hmdb-ucf-fullUNITE
Accuracy: 92.5
domain-adaptation-on-hmdbfull-to-ucfUNITE
Accuracy: 92.5
domain-adaptation-on-ucf-hmdb-fullUNITE
Accuracy: 95.0
domain-adaptation-on-ucf-to-hmdbfullUNITE
Accuracy: 95.0

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于掩码预训练与协同自训练的无监督视频域适应 | 论文 | HyperAI超神经