摘要
传统的视听模型通常具有独立的音频和视频分支。在本研究中，我们通过设计统一的视听模型（Unified Audio-Visual Model, UAVM）将音频和视频分支进行了整合。UAVM 在 VGGSound 数据集上实现了 65.8% 的最新视听事件分类准确率。更有趣的是，我们还发现 UAVM 具有一些模态无关模型所不具备的独特特性。
代码仓库
YuanGongND/uavm
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| audio-classification-on-audioset | UAVM (Audio + Video) | Test mAP: 0.504 |
| audio-classification-on-vggsound | UAVM (Audio + Video) | Top 1 Accuracy: 65.8 |
| audio-classification-on-vggsound | UAVM (Audio Only) | Top 1 Accuracy: 56.5 |
| audio-classification-on-vggsound | UAVM (Video Only) | Top 1 Accuracy: 49.9 |
| multi-modal-classification-on-audioset | UAVM | Average mAP: 0.504 |
| multi-modal-classification-on-vgg-sound | UAVM | Top-1 Accuracy: 65.8 |