3 个月前

用于多智能体感知的蒸馏协作图学习

用于多智能体感知的蒸馏协作图学习

摘要

为实现多智能体感知中性能与带宽之间的更优权衡,我们提出一种新型的蒸馏协作图(Distilled Collaboration Graph, DiscoGraph),用于建模可训练、姿态感知且自适应的智能体间协作关系。本工作的核心创新体现在两个方面。首先,我们提出一种教师-学生框架,通过知识蒸馏的方式训练 DiscoGraph。其中,教师模型采用基于全局视图输入的早期协作策略,而学生模型则基于单视角输入的中间阶段协作。该框架通过约束学生模型在协作后的特征图,使其与教师模型中的对应关系保持一致,从而实现对 DiscoGraph 的有效训练。其次,我们引入一种矩阵值边权重机制于 DiscoGraph 中。该矩阵中的每个元素表征特定空间区域内智能体间的交互注意力,使智能体能够自适应地聚焦于信息丰富的区域,提升协作效率。在推理阶段,仅需使用学生模型——即蒸馏后的协作网络(DiscoNet),即可完成高效感知任务。得益于教师-学生框架的设计,多个共享 DiscoNet 的智能体能够协同逼近一个具有全局视图的假设性教师模型的性能表现。我们在 V2X-Sim 1.0 上对所提方法进行了验证,该数据集是一个大规模多智能体感知数据集,我们通过 CARLA 与 SUMO 的联合仿真合成生成。在多智能体三维目标检测任务中的定量与定性实验表明,DiscoNet 不仅在性能与带宽的权衡上优于当前最先进的协同感知方法,还具备更为清晰直观的设计逻辑。相关代码已开源,可访问:https://github.com/ai4ce/DiscoNet。

代码仓库

coperception/coperception
pytorch
GitHub 中提及
ai4ce/DiscoNet
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
3d-object-detection-on-v2x-simDiscoNet
mAOE: 0.411
mAP: 22.0
mASE: 0.267
mATE: 0.787
3d-object-detection-on-v2xsetDiscoNet
AP0.5 (Noisy): 0.798
AP0.5 (Perfect): 0.844
AP0.7 (Noisy): 0.541
AP0.7 (Perfect): 0.695

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
用于多智能体感知的蒸馏协作图学习 | 论文 | HyperAI超神经