摘要

当前的主动发言人检测方法主要集中在建模单个发言人的短期音视频信息。虽然这种策略足以应对单人场景，但在需要从多个候选发言人中识别出正在说话的人时，却难以实现准确检测。本文引入了一种新的表示方法——主动发言人上下文（Active Speaker Context），该方法能够在长时间范围内建模多个发言人之间的关系。我们的主动发言人上下文设计用于从结构化的音视频观察集合中学习成对和时间关系。实验结果表明，结构化的特征集合已经能够提升主动发言人检测的性能。此外，我们发现所提出的主动发言人上下文在AVA-ActiveSpeaker数据集上显著改进了现有技术水平，达到了87.1%的平均精度均值（mAP）。我们还进行了消融研究，验证了这一结果直接归因于我们的长期多发言人分析方法。