摘要

我们介绍了V-AURA，这是首个在视频到音频生成中实现高时间对齐和相关性的自回归模型。V-AURA采用高帧率视觉特征提取器和跨模态音视频特征融合策略，以捕捉精细的视觉运动事件并确保精确的时间对齐。此外，我们提出了VisualSound，这是一个具有高音视频相关性的基准数据集。VisualSound基于VGGSound，后者是一个从YouTube中提取的野生样本视频数据集。在数据集整理过程中，我们移除了听觉事件与视觉事件不对齐的样本。V-AURA在时间对齐和语义相关性方面超越了当前最先进的模型，同时保持了相当的音频质量。代码、样本、VisualSound数据集和模型均可在 https://v-aura.notion.site 获取。