从部分观测到的动作序列中预测其类别标签是一项极具挑战性的任务，因为不同动作的早期片段往往极为相似。本文提出了一种新型的硬度感知判别网络（Hardness-AwaRe Discrimination Network, HARD-Net），专门用于研究难以区分的相似动作对之间的内在关系。具体而言，我们设计了一个困难实例干扰类别（Hard Instance-Interference Class, HI-IC）记忆库，能够动态记录那些难以区分的相似动作对。基于该HI-IC记忆库，我们进一步提出了一种新颖的对抗性学习机制，用于训练HARD-Net，从而赋予网络强大的能力，以挖掘细微的判别性特征，实现对三维早期动作的精准预测。我们在两个公开的动作识别数据集上对所提出的HARD-Net进行了评估，实验结果表明其性能达到当前最优水平。