从第一人称视角的RGB视频中理解动态的手部运动与动作是一项基础但极具挑战性的任务，主要受限于自遮挡和语义模糊性。为应对遮挡与模糊问题，我们提出了一种基于Transformer的框架，通过充分利用时序信息实现鲁棒的估计。鉴于手部姿态估计与动作识别在时间粒度上的差异以及二者之间的语义关联，我们构建了一个包含两个级联Transformer编码器的网络层次结构：首个编码器利用短期时序线索进行手部姿态估计，而第二个编码器则在更长的时间跨度上聚合每帧的姿态与物体信息，以实现动作识别。所提出的方法在两个第一人称手部动作基准数据集FPHA和H2O上均取得了具有竞争力的性能表现。大量消融实验验证了我们设计选择的有效性。