摘要

动作质量评估（AQA）利用计算机视觉技术对人类动作的执行情况进行定量评估。目前的AQA方法大多采用端到端的神经模型，这些模型缺乏透明度，并且由于训练时使用了主观的人类评价作为真实标签，容易产生偏差。为了解决这些问题，我们引入了一种用于AQA的神经符号范式，该范式通过神经网络从视频数据中抽象出可解释的符号，并通过应用规则对这些符号进行质量评估。我们以跳水为例进行了研究。结果表明，领域专家更倾向于我们的系统，并认为它比纯粹基于神经网络的方法在跳水AQA方面更具信息量。我们的系统不仅实现了最先进的动作识别和时间分割，还能自动生成详细的报告，将跳水分解为其各个要素，并提供带有视觉证据的客观评分。经一组领域专家验证，该报告可用于辅助裁判评分、帮助培训裁判以及为跳水运动员提供反馈。注释训练数据和代码：https://github.com/laurenok24/NSAQA。