
摘要
前所未有的多时相卫星影像访问为多种地球观测任务开辟了新的视角。其中,农业地块的像素级全景分割具有重要的经济和环境意义。尽管研究人员已经对单张图像进行了探索,我们认为作物物候学的复杂时间模式更适合通过时间序列图像来解决。在本文中,我们提出了首个端到端、单阶段的卫星影像时间序列(SITS)全景分割方法。该模块可以与我们新提出的基于时间自注意力机制的图像序列编码网络相结合,以提取丰富且适应性强的多尺度时空特征。我们还介绍了PASTIS,这是首个公开可用的带有全景注释的SITS数据集。我们展示了我们的编码器在语义分割方面相对于多种竞争架构的优势,并建立了SITS全景分割的第一个先进水平。我们的实现代码和PASTIS数据集均已公开发布。
代码仓库
VSainteuf/utae-paps
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| cloud-removal-on-sen12ms-cr-ts | U-TAE | PSNR: 27.05 RMSE: 0.051 SAM: 11.649 SSIM: 0.849 |
| flood-extent-forecasting-on-global-flood | U-TAE | F1 score: 0.77 |
| panoptic-segmentation-on-pastis | U-TAE + PaPs | PQ: 40.4 RQ: 49.2 SQ: 81.3 |
| semantic-segmentation-on-pastis | U-TAE | Mean IoU (test): 63.1 Number of Params: 1.1M Overall Accuracy: 83.2 |