该数据集是由上海人工智能实验室、南京大学、中科院深圳先进技术研究院等领头单位，与东京大学、复旦大学、浙江大学、中国科学技术大学等多所高校的学生和研究者联合发布的 EgoExoLearn，旨在为机器人赋予观察他人学习新动作的能力。 **EgoExoLearn 数据集的独特之处在于其采集了第一视角和第三视角的视频素材。**第一视角视频记录了人们学习第三视角演示动作的整个过程，这种视角转换与融合为机器模仿人类学习模式提供了宝贵的数据资源。 该数据集的构建范围不仅涵盖了日常生活中的各种场景，还包括了专业实验室中的复杂操作。 EgoExoLearn 共收录了 120 小时的视角和演示视频，旨在让机器在多种环境下有效学习。 除了视频外，研究者还记录了高质量的注视数据，并提供了详尽的多模态标注。这些数据与标注相结合，构建了一个全面模拟人类学习过程的平台，有助于解决机器在不同视角下对异步动作过程的建模难题。 为了全面评估 EgoExoLearn 数据集的价值，研究者提出了一系列基准测试，如跨视角关联、跨视角行动规划及跨视角参考技能评估等，并进行了深入的分析。展望未来，EgoExoLearn 将成为跨视角行动桥接的重要基石，为机器人无缝学习真实世界中的人类行为提供坚实支撑。

Citation

@InProceedings{huang2024egoexolearn, title={EgoExoLearn: A Dataset for Bridging Asynchronous Ego- and Exo-centric View of Procedural Activities in Real World}, author={Huang, Yifei and Chen, Guo and Xu, Jilan and Zhang, Mingfang and Yang, Lijin and Pei, Baoqi and Zhang, Hongjie and Lu, Dong and Wang, Yali and Wang, Limin and Qiao, Yu}, booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition}, year={2024} }