摘要

尽管针对程序性任务的动作识别已受到广泛关注，但其存在一个根本缺陷，即未提供动作成功的衡量标准。这限制了此类系统在工业领域的应用，因为程序性动作的结果通常比单纯的执行更为重要。为了解决这一局限性，我们定义了一项新的任务——程序步骤识别（PSR），重点在于识别程序步骤的正确完成及其顺序。同时，我们还介绍了多模态的IndustReal数据集。与现有的数据集不同，IndustReal不仅包含程序错误（如遗漏），还包括执行错误。这些错误中的很大一部分仅出现在验证集和测试集中，使得IndustReal适合评估算法对新出现且未见过的错误的鲁棒性。此外，为了鼓励可重复性和允许基于合成数据进行可扩展的方法训练，所有零件的3D模型均公开可用。该数据集提供了动作识别和装配状态检测的注释及基准性能，并涵盖了新的PSR任务。IndustReal数据集及其代码和模型权重可在以下网址获取：https://github.com/TimSchoonbeek/IndustReal 。