
摘要
本报告描述了我们在CVPR 2019 ActivityNet挑战赛中的提交方案。我们采用基于三维卷积神经网络(3D CNN)的前端模型和时间卷积与LSTM分类器的集成方法来预测可见人物是否在讲话。实验结果表明,我们的方法在AVA-ActiveSpeaker数据集上相比基线模型有显著提升。
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| audio-visual-active-speaker-detection-on-ava | VGG-{LSTM+TCN} (ensemble) | validation mean average precision: 87.8% |