摘要

近年来，将彩色相机与事件相机（亦称动态视觉传感器，Dynamic Vision Sensors, DVS）相结合以实现鲁棒的目标跟踪，已成为一个新兴的研究方向。现有的彩色-事件联合跟踪框架通常由多个分散的模块构成，如特征提取、特征融合、匹配、交互学习等，导致系统效率较低且计算复杂度较高。针对这一问题，本文提出一种单阶段的统一骨干网络——Color-Event Unified Tracking（CEUTrack），能够同时实现上述多种功能。给定事件点云与RGB帧输入，我们首先将事件点转换为体素（voxels），并分别裁剪出模板区域与搜索区域，以适配两种模态。随后，这些区域被投影为令牌（tokens），并行输入统一的Transformer骨干网络进行处理。最终输出的特征送入跟踪头，用于目标位置的精确定位。所提出的CEUTrack结构简洁、高效且性能优越，实测帧率超过75 FPS，并取得了新的最先进（SOTA）性能。为更全面地验证模型的有效性，并缓解该任务中数据资源匮乏的问题，我们进一步构建了一个通用且大规模的基准数据集——COESOT（Color-Event SOT Dataset），涵盖90个类别，共计1354个视频序列。此外，我们在评估工具包中提出了一种新的评价指标——BOC（Baseline-Oriented Comparison），用于更准确地衡量模型相对于基线方法的突出表现。我们期望所提出的CEUTrack方法、COESOT数据集以及BOC评估指标，能够为基于彩色-事件融合的跟踪任务提供一个更完善的研究平台。相关数据集、评估工具包及源代码将公开发布于：\url{https://github.com/Event-AHU/COESOT}。