摘要

视频转音频（V2A）生成技术利用仅包含视觉信息的视频特征来渲染与场景匹配的合理声音。重要的是，生成的声音起始时间应与相应的视觉动作对齐，否则会产生不自然的同步伪影。近期的研究探索了从静态图像到视频特征对声音生成器进行条件约束的进步，这些研究主要关注质量和语义匹配，而忽略了同步性，或者通过牺牲部分质量来专注于改善同步性。在本工作中，我们提出了一种名为 MaskVAT 的 V2A 生成模型，该模型将全频带高质量通用音频编解码器与序列到序列的掩码生成模型相结合。这种组合使得同时建模高音质、语义匹配和时间同步成为可能。我们的实验结果表明，通过结合高质量编解码器、适当的预训练音视频特征以及序列到序列并行结构，我们能够在一方面实现高度同步的结果，同时在非编解码器生成音频模型中保持竞争力。示例视频和生成的音频文件可访问 https://maskvat.github.io 。