摘要
动作分割是指在视频中推断出语义一致的视觉概念的边界，这是许多视频理解任务的重要需求。对于此类及其他视频理解任务，监督方法已经取得了令人鼓舞的性能，但需要大量的详细帧级注释。我们提出了一种完全自动且无需训练的无监督方法来分割视频中的动作。我们的方法是一种有效的时序加权层次聚类算法，可以将视频中的语义一致帧进行分组。我们的主要发现是，通过考虑时间进展，使用1-最近邻图表示视频就足以形成语义和时序一致的帧簇，每个簇可能代表视频中的某个动作。此外，我们在五个具有挑战性的动作分割数据集上建立了强大的无监督基线，并展示了相对于已发表的无监督方法显著的性能提升。我们的代码可在以下地址获取：https://github.com/ssarfraz/FINCH-Clustering/tree/master/TW-FINCH
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| action-segmentation-on-50-salads-1 | TW-FINCH (K=avg/activity) | Acc: 66.5 |
| action-segmentation-on-breakfast-1 | TW-FINCH (K=avg/activity) | Acc: 62.7 mIoU: 42.3 |
| action-segmentation-on-mpii-cooking-2-dataset | Unsup. TW-FINCH (K=avg/activity) | Accuracy: 42 mIoU: 23.1 |