摘要

在野外进行手势到手势的翻译是一项具有挑战性的任务，因为手部姿势可以有任意的姿态、大小、位置和自遮挡。因此，这项任务需要对输入源手势与输出目标手势之间的映射关系有高层次的理解。为了解决这一问题，我们提出了一种新颖的手势生成对抗网络（GestureGAN）。GestureGAN 包含一个生成器 ( G ) 和一个判别器 ( D )，其输入为条件手部图像和目标手部骨架图像。GestureGAN 明确利用了手部骨架信息，并通过两种新颖的损失函数——颜色损失和循环一致性损失——学习手势到手势的映射关系。所提出的颜色损失解决了在反向传播梯度时出现的“通道污染”问题。此外，我们引入了弗雷歇-ResNet 距离（Fréchet ResNet Distance, FRD）来评估生成图像的质量。在两个广泛使用的基准数据集上进行的大量实验表明，所提出的 GestureGAN 在无约束的手势到手势翻译任务中达到了最先进的性能。同时，生成的图像质量高且照片逼真，可以作为数据增强手段来提高手部姿势分类器的性能。我们的模型和代码可在 https://github.com/Ha0Tang/GestureGAN 获取。