4 个月前

DSFFNet:双侧特征融合网络用于3D姿态迁移

DSFFNet:双侧特征融合网络用于3D姿态迁移

摘要

为了解决现有方法中姿态特征前向传播时出现的姿态失真问题,本文提出了一种双侧特征融合网络用于姿态迁移(DSFFNet)。首先,通过姿态编码器从源网格中提取固定长度的姿态码,并将其与目标顶点结合形成混合特征;然后,设计了一个特征融合自适应实例归一化模块(FFAdaIN),该模块能够同时处理姿态和身份特征,使得在逐层前向传播过程中可以对姿态特征进行补偿,从而解决姿态失真问题;最后,利用由该模块组成的网格解码器,逐步将姿态迁移到目标网格上。在SMPL、SMAL、FAUST和MultiGarment数据集上的实验结果表明,DSFFNet成功解决了姿态失真问题,同时保持了较小的网络结构,具有更强的姿态迁移能力和更快的收敛速度,并且能够适应不同顶点数量的网格。代码可在https://github.com/YikiDragon/DSFFNet 获取。

代码仓库

yikidragon/dsffnet
官方
pytorch

基准测试

基准方法指标
pose-transfer-on-smplFF-PTNet
PMD: 0.57×1e-4

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
DSFFNet:双侧特征融合网络用于3D姿态迁移 | 论文 | HyperAI超神经