摘要

理解日常活动（ADLs）是辅助机器人、智能家居和医疗保健等多个应用领域的重要步骤。然而，迄今为止，很少有基准和方法专注于复杂的ADLs，尤其是家庭环境中涉及多人互动的复杂ADLs。在本文中，我们提出了一种新的数据集和基准——InteractADL，用于理解涉及人类（及物体）之间互动的复杂ADLs。此外，家庭环境中的复杂ADLs由于多人互动较为罕见，呈现出具有挑战性的长尾分布，并且由于存在语义和视觉上相似的类别，这些任务还涉及到细粒度的视觉识别问题。为了解决这些问题，我们提出了一种名为“名称调优”（Name Tuning）的新方法，通过学习最优类别名称向量来提高语义区分度。我们展示了名称调优可以与现有的提示调优策略结合使用，以学习整个输入文本（而不仅仅是提示或类别名称），并在InteractADL和其他4个细粒度视觉分类基准上展示了其在少样本分类任务中的性能提升。为了保证透明性和可复现性，我们在https://github.com/zanedurante/vlm_benchmark发布了代码。