摘要

本文提出了一种高效的多摄像头到鸟瞰图（BEV）视图变换方法，用于三维感知，命名为MatrixVT。现有的视图变换方法要么存在较差的变换效率，要么依赖于特定设备的操作符，这限制了BEV模型的广泛应用。相比之下，我们的方法仅通过卷积和矩阵乘法（MatMul）高效生成BEV特征。具体而言，我们提出将BEV特征描述为图像特征与一个稀疏的特征传输矩阵（Feature Transporting Matrix, FTM）的矩阵乘法结果。随后引入了一个主成分提取模块，以压缩图像特征的维度并减少FTM的稀疏性。此外，我们提出了环形与射线分解（Ring & Ray Decomposition），用两个矩阵替代FTM，并重新设计了我们的流水线以进一步减少计算量。与现有方法相比，MatrixVT不仅速度更快、占用内存更少，而且部署友好。在nuScenes基准上的大量实验表明，我们的方法在目标检测和地图分割任务中具有高效率，并且取得了与最先进方法相当的结果。