摘要

我们提出了一种新型的基于顶点的单目3D人体网格恢复方法——可变形网格Transformer（DeFormer）。DeFormer通过在Transformer解码器中构建一个由高效人体网格驱动注意力模块组成的网格对齐反馈循环，迭代地将人体网格模型拟合到输入图像。该解码器引入了两种关键注意力机制：1）人体稀疏自注意力（body sparse self-attention），2）可变形网格交叉注意力（deformable mesh cross attention）。得益于这一设计，DeFormer能够有效利用高分辨率图像特征图与密集网格模型，而这些在以往基于标准Transformer注意力的方法中因计算成本过高而难以处理。实验结果表明，DeFormer在Human3.6M和3DPW两个基准数据集上均达到了当前最优的性能表现。消融实验进一步验证了DeFormer模型设计在融合多尺度特征图方面的有效性。代码已开源，地址为：https://github.com/yusukey03012/DeFormer。