
摘要
研究和分析农田是一项艰巨的任务,因为其生长行为具有动态性和异质性。通常,可以收集多种数据源来对其进行估算。尽管深度学习模型在作物分类任务中表现出色,但在处理多输入问题时仍面临巨大挑战,这被称为多视图学习(Multi-View Learning, MVL)。MVL 方法可以根据编码器架构、融合策略和优化技术进行结构化。现有文献主要集中在使用特定的编码器架构来处理局部区域,而对MVL方法中的其他组件缺乏深入探讨。相比之下,我们研究了融合策略和编码器架构的同时选择,评估了全球范围内的农田和作物类型分类。我们使用了五种融合策略(输入融合、特征融合、决策融合、集成融合、混合融合)和五种时间编码器(LSTM、GRU、TempCNN、TAE、L-TAE)作为MVL方法中的可能配置。我们使用CropHarvest数据集进行验证,该数据集提供了光学、雷达、气象时间序列和地形信息作为输入数据。我们发现,在标记样本数量有限的情况下,单一配置无法适用于所有情况。相反,需要精心寻找一种专门的组合,包括编码器和融合策略。为了简化这一搜索过程,我们建议首先确定适合特定融合策略的最佳编码器架构,然后再确定最合适的融合策略用于分类任务。我们为研究人员提供了一个通过MVL方法探索作物分类的方法论框架。
代码仓库
fmenat/optimal-multiview-crop-classifier
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| crop-classification-on-cropharvest-brazil | Feature fusion with LSTM | Average Accuracy: 0.975 F1 Macro: 0.979 |
| crop-classification-on-cropharvest-brazil | Hybrid fusion with LSTM | Average Accuracy: 0.974 F1 Macro: 0.978 |
| crop-classification-on-cropharvest-kenya | Radar TS with TempCNN | Average Accuracy: 0.676 F1 Macro: 0.684 |
| crop-classification-on-cropharvest-kenya | Input Fusion with TAE | Average Accuracy: 0.673 F1 Macro: 0.672 |
| crop-classification-on-cropharvest-togo | Ensemble aggregation with GRU | Average Accuracy: 0.842 F1 Macro: 0.820 |
| crop-classification-on-cropharvest-togo | Decision fusion with GRU | Average Accuracy: 0.825 F1 Macro: 0.7952 |