摘要

我们介绍了Fashion-VDM，这是一种用于生成虚拟试衣视频的视频扩散模型（VDM）。给定一件衣物图像和一段人物视频，我们的方法旨在生成高质量的试衣视频，展示人物穿着指定衣物的效果，同时保留人物的身份和动作。基于图像的虚拟试衣已经取得了令人印象深刻的结果；然而，现有的视频虚拟试衣（VVT）方法在衣物细节和时间一致性方面仍存在不足。为了解决这些问题，我们提出了一种基于扩散模型的架构用于视频虚拟试衣，通过分裂分类器自由引导来增强对条件输入的控制，并采用逐步时间训练策略实现单次生成64帧、512像素分辨率的视频。此外，我们还展示了联合图像-视频训练在视频试衣中的有效性，特别是在视频数据有限的情况下。我们的定性和定量实验表明，我们的方法在视频虚拟试衣领域达到了新的最先进水平。如需查看更多结果，请访问我们的项目页面：https://johannakarras.github.io/Fashion-VDM。