摘要

弱监督多模态暴力检测旨在利用RGB、光流和音频等多种模态信息，在仅有视频级注释的情况下学习暴力检测模型。在追求有效的多模态暴力检测（MVD）过程中，信息冗余、模态不平衡和模态异步性被确定为三个关键挑战。在这项工作中，我们提出了一种新的弱监督MVD方法，明确解决了这些挑战。具体而言，我们引入了一个基于多尺度瓶颈变换器（Multi-Scale Bottleneck Transformer, MSBT）的融合模块，该模块通过减少瓶颈令牌的数量逐步浓缩信息并融合每对模态，并采用基于瓶颈令牌的加权方案来突出更重要的融合特征。此外，我们提出了一种时间一致性对比损失，以在语义上对齐每对融合特征。在最大规模的XD-Violence数据集上的实验表明，所提出的方法达到了最先进的性能。代码可在 https://github.com/shengyangsun/MSBT 获取。