4 个月前

RICA2:基于评分标准的校准行动评估

RICA2:基于评分标准的校准行动评估

摘要

量化某一动作执行的好坏程度,即动作质量评估(Action Quality Assessment, AQA),近年来在视觉研究领域引起了广泛关注。不幸的是,先前的方法往往忽略了人类专家使用的评分标准,并且未能充分量化模型预测的不确定性。为了弥合这一差距,我们提出了一种深度概率模型——RICA^2,该模型集成了评分标准并考虑了预测的不确定性,用于AQA。我们的方法的核心在于对动作步骤进行随机嵌入,这些嵌入定义在一个编码了评分标准的图结构上。通过在潜在空间中扩散概率密度,这些嵌入使我们的方法能够表示模型的不确定性。图结构编码了评分准则,基于此准则可以解码出质量分数。我们展示了该方法在多个公开基准数据集上建立了新的最先进水平,包括FineDiving、MTL-AQA和JIGSAWS,在分数预测和不确定性校准方面表现出色。我们的代码可在以下网址获取:https://abrarmajeedi.github.io/rica2_aqa/

代码仓库

abrarmajeedi/rica2_aqa
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
action-quality-assessment-on-finedivingRICA^2
RL2(*100): 0.2838
Spearman Correlation: 0.9402
action-quality-assessment-on-finedivingRICA^2 (Deterministic)
RL2(*100): 0.26
Spearman Correlation: 0.9421
action-quality-assessment-on-jigsawsRICA^2 (Deterministic)
Spearman Correlation: 0.9
action-quality-assessment-on-jigsawsRICA^2
Spearman Correlation: 0.92
action-quality-assessment-on-mtl-aqaRICA^2
RL2(*100): 0.258
Spearman Correlation: 95.94
action-quality-assessment-on-mtl-aqaRICA^2 (Deterministic)
RL2(*100): 0.228
Spearman Correlation: 96.20

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
RICA2:基于评分标准的校准行动评估 | 论文 | HyperAI超神经