摘要

理解人们的行动和互动通常依赖于观察他们。从视觉数据中自动化行为识别过程一直是计算机视觉领域的研究热点。然而，如果光线太暗，或者人被遮挡或位于墙壁后面，该怎么办？本文介绍了一种神经网络模型，该模型能够在墙壁和遮挡物后面以及在光线条件不佳的情况下检测人类行为。我们的模型以射频（RF）信号作为输入，生成三维人体骨架作为中间表示，并识别多个随时间变化的人的行为和互动。通过将输入转换为基于骨架的中间表示，我们的模型可以从基于视觉的数据集和基于射频的数据集中学习，并使这两项任务相互辅助。我们展示了该模型在可见场景中的准确性与基于视觉的行为识别系统相当，但在人们不可见的情况下仍能保持高精度，从而解决了当今基于视觉的行为识别系统无法应对的场景。