摘要

异常执行检测对于减少辅助操作中的潜在风险具有重要价值。多模态传感器信号有助于检测广泛类型的异常。然而，高维和异构模态的融合是一个具有挑战性的问题。本文介绍了一种基于长短期记忆网络的变分自编码器（LSTM-VAE），该模型能够融合信号并重建其预期分布。我们还提出了一种基于LSTM-VAE的检测器，该检测器使用基于重建的异常评分和基于状态的阈值。在对包含12种代表性异常类型的1,555次机器人辅助喂食执行进行评估时，我们的检测器在接收者操作特征曲线下的面积（AUC）为0.8710，优于文献中提到的其他5种基线检测器。通过将我们的检测器与17个原始传感器信号和4个手工设计的特征进行对比，我们还展示了通过LSTM-VAE实现的多模态融合的有效性。