摘要

生成模型（GMs）因其卓越的能力在实现全面理解方面受到了越来越多的研究关注。然而，这些模型在多模态跟踪领域的潜在应用仍然相对未被充分探索。在此背景下，我们旨在揭示利用生成技术解决多模态跟踪中的关键挑战——信息融合的潜力。本文深入探讨了两种主要的生成模型技术，即条件生成对抗网络（CGANs）和扩散模型（DMs）。与传统的融合过程不同，传统方法中每个模态的特征直接输入到融合模块，而我们在生成模型框架中通过添加随机噪声来调节这些多模态特征，从而有效地将原始训练样本转化为更具挑战性的实例。这种设计在提取特征中的判别线索方面表现出色，显著提升了最终的跟踪性能。为了定量评估我们方法的有效性，我们在两个多模态跟踪任务、三种基线方法和三个具有挑战性的基准数据集上进行了广泛的实验。实验结果表明，所提出的基于生成模型的信息融合机制达到了最先进的性能，在LasHeR和RGBD1K数据集上创造了新的记录。