摘要

准确感知并跟踪随时间变化的实例对于在动态环境中安全交互的自主代理的决策过程至关重要。为此，我们提出了一种针对LiDAR点云4D全景分割这一具有挑战性任务的方法——Mask4Former。Mask4Former是首个基于变压器（transformer）的方法，将稀疏且不规则的3D点云序列的语义实例分割和跟踪统一到一个单一的联合模型中。我们的模型直接预测语义实例及其时间关联，而无需依赖手工设计的非学习型关联策略，如概率聚类或基于投票的中心预测。相反，Mask4Former引入了时空实例查询，这些查询编码了序列中每个语义轨迹片段的语义和几何属性。通过深入研究，我们发现促进空间紧凑的实例预测至关重要，因为时空实例查询倾向于合并多个语义相似但空间上相距较远的实例。为此，我们从时空实例查询中回归6自由度（6-DOF）边界框参数，作为辅助任务以促进空间紧凑的预测。Mask4Former在SemanticKITTI测试集上取得了68.4 LSTQ的新纪录，达到了当前最先进的水平。