摘要

本研究的目标是理解视频中动作的执行方式。具体而言，给定一段视频，我们的目标是预测一个副词，该副词表示对动作的修改（例如，“精细地”切割）。我们将这一问题视为回归任务来处理。通过测量动词与副词之间的文本关系，生成一个回归目标，以代表我们希望学习的动作变化。我们在多个数据集上测试了我们的方法，并在副词预测和反义词分类方面取得了最先进的结果。此外，当取消两个常见的假设条件时——即测试过程中不需要动作标签以及副词不作为反义词配对——我们的表现优于先前的工作。现有的副词识别数据集要么存在噪声，使得学习变得困难；要么包含那些外观不受副词影响的动作，这使得评估不够可靠。为了解决这些问题，我们收集了一个新的高质量数据集：食谱中的副词（Adverbs in Recipes, AIR）。我们专注于教学食谱视频，精心挑选了一组在不同执行方式下表现出显著视觉变化的动作。AIR 数据集中的视频经过更严格的剪辑，并由多名注释者手动审查以确保高标注质量。结果显示，在 AIR 数据集中提供的更清晰的视频条件下，模型的学习效果更好。同时，AIR 上的副词预测具有挑战性，表明仍有很大的改进空间。