摘要

在动作质量评估（AQA）任务中，利用对动作及其质量的描述是否可以提高性能？当前的AQA和技能评估方法建议学习仅服务于一个任务的特征——估计最终得分。本文提出了一种学习时空特征的方法，这些特征可以解释三个相关任务：细粒度动作识别、评论生成以及估计AQA得分。为了评估我们的方法，我们收集了一个新的多任务AQA数据集，这是迄今为止最大的数据集，包含1412个跳水样本（https://github.com/ParitoshParmar/MTL-AQA）。我们展示了使用两种不同架构——C3D-AVG和MSCADC时，我们的多任务学习（MTL）方法优于单任务学习（STL）方法。C3D-AVG-MTL方法达到了新的最先进水平，等级相关系数为90.44%。通过详细的实验表明，与单任务学习相比，多任务学习提供了更好的泛化能力，并且来自动作识别模型的表示对于AQA任务来说是不够的，而应该进行专门的学习。