4 个月前

基于卷积时序注意力网络的卫星图像时间序列全景分割

基于卷积时序注意力网络的卫星图像时间序列全景分割

摘要

前所未有的多时相卫星影像访问为多种地球观测任务开辟了新的视角。其中,农业地块的像素级全景分割具有重要的经济和环境意义。尽管研究人员已经对单张图像进行了探索,我们认为作物物候学的复杂时间模式更适合通过时间序列图像来解决。在本文中,我们提出了首个端到端、单阶段的卫星影像时间序列(SITS)全景分割方法。该模块可以与我们新提出的基于时间自注意力机制的图像序列编码网络相结合,以提取丰富且适应性强的多尺度时空特征。我们还介绍了PASTIS,这是首个公开可用的带有全景注释的SITS数据集。我们展示了我们的编码器在语义分割方面相对于多种竞争架构的优势,并建立了SITS全景分割的第一个先进水平。我们的实现代码和PASTIS数据集均已公开发布。

代码仓库

VSainteuf/utae-paps
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
cloud-removal-on-sen12ms-cr-tsU-TAE
PSNR: 27.05
RMSE: 0.051
SAM: 11.649
SSIM: 0.849
flood-extent-forecasting-on-global-floodU-TAE
F1 score: 0.77
panoptic-segmentation-on-pastisU-TAE + PaPs
PQ: 40.4
RQ: 49.2
SQ: 81.3
semantic-segmentation-on-pastisU-TAE
Mean IoU (test): 63.1
Number of Params: 1.1M
Overall Accuracy: 83.2

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于卷积时序注意力网络的卫星图像时间序列全景分割 | 论文 | HyperAI超神经