摘要

卫星影像时序序列（Satellite Image Time Series, SITS）表示学习之所以复杂，主要源于其高时空分辨率、不规则的获取时间以及复杂的时空交互特性。这些挑战促使研究者设计出专门针对SITS分析的神经网络架构。尽管该领域已取得一系列令人瞩目的成果，得益于先驱性研究的推动，但将计算机视觉（Computer Vision, CV）领域的最新进展或成熟范式迁移至SITS仍面临巨大挑战，其根本原因在于现有表示学习框架尚不完善。本文提出一种全新的SITS处理视角：将其视为一个直接的集合预测（set prediction）问题，这一思路受到近期基于查询（query-based）Transformer解码器在简化目标检测与图像分割流程中广泛应用的启发。在此基础上，我们进一步提出将SITS的表示学习过程分解为三个明确的步骤——收集（collect）-更新（update）-分发（distribute），该方法计算高效，特别适用于非规则采样和异步时间序列的卫星观测数据。得益于这一独特的形式化重构，我们所提出的SITS时序学习主干网络，首先在资源高效的像素集合（pixel-set）格式上进行预训练，随后在下游密集预测任务上进行微调，最终在PASTIS基准数据集上取得了新的最先进（State-of-the-Art, SOTA）性能。具体而言，SITS语义/全景分割流程中时空分量的清晰分离，使我们能够有效利用计算机视觉领域的最新进展，例如通用图像分割架构，从而相较此前报告的最佳结果，分别实现了mIoU提升2.5个百分点、PQ提升8.8个百分点的显著改进。