摘要

本文介绍了一种创新的多任务学习框架，该框架允许使用单个摄像头同时进行深度估计和语义分割。所提出的方法基于共享的编码器-解码器架构，集成了多种技术以提高深度估计和语义分割任务的准确性，而不牺牲计算效率。此外，论文引入了对抗训练组件，采用了Wasserstein生成对抗网络（WGAN）框架及其判别网络来优化模型的预测结果。该框架在两个数据集上进行了全面评估——室外Cityscapes数据集和室内NYU Depth V2数据集——并在分割和深度估计任务中均超过了现有的最先进方法。我们还进行了消融研究，分析了不同组件的贡献，包括预训练策略、判别网络的引入、对数深度缩放以及高级图像增强技术，以便更好地理解所提出的框架。相关源代码可在以下网址获取：https://github.com/PardisTaghavi/SwinMTL。