摘要

卷积神经网络（CNNs）由于其构建模块中的固定几何结构，本质上在建模几何变换方面存在局限性。在这项工作中，我们引入了两个新模块以增强CNNs的变换建模能力，即变形卷积（deformable convolution）和变形感兴趣区域池化（deformable RoI pooling）。这两个模块的核心思想是在模块的空间采样位置上增加额外的偏移量，并从目标任务中学习这些偏移量，而无需额外的监督。新的模块可以轻松替代现有CNNs中的普通模块，并且可以通过标准的反向传播方法进行端到端训练，从而形成变形卷积神经网络（Deformable Convolutional Networks）。大量实验验证了我们的方法在复杂视觉任务如物体检测和语义分割方面的有效性。代码将会公开发布。