
摘要
在金融、零售、社交网络和医疗等领域的应用中,对给定时间范围内多个未来事件的预测至关重要。标记时间点过程(Marked Temporal Point Processes, MTPP)为建模事件的发生时间及其类别标签提供了严谨的框架。然而,现有研究大多仅关注预测下一个事件,对长时域预测的探索仍十分有限。为弥补这一空白,我们提出了HoTPP——首个专为严格评估长时域预测而设计的基准测试平台。我们识别出当前广泛使用的评估指标存在的缺陷,提出了一种具有理论基础的T-mAP评价指标;构建了强有力的统计基线模型,并提供了主流模型的高效实现方案。实验结果表明,当前主流的MTPP方法在多数情况下甚至不如简单的统计基线模型。此外,我们对预测序列的多样性进行了分析,发现大多数方法存在模式坍缩(mode collapse)问题。最后,我们探讨了自回归机制与基于强度的损失函数对预测性能的影响,并指出了未来研究的有前景方向。HoTPP的源代码、超参数设置及完整的评估结果均已公开于GitHub。
代码仓库
ivan-chai/hotpp-benchmark
官方
pytorch
GitHub 中提及
ivan-chai/torch-linear-assignment
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| point-processes-on-agegroup-transactions-mtpp | NHP | Accuracy (%): 35.43 MAE: 0.696 OTD: 6.97 T-mAP: 5.61 |
| point-processes-on-agegroup-transactions-mtpp | ODE-RNN | Accuracy (%): 35.6 MAE: 0.695 OTD: 6.97 T-mAP: 5.52 |
| point-processes-on-agegroup-transactions-mtpp | IFTPP | Accuracy (%): 34.08 MAE: 0.693 OTD: 6.90 T-mAP: 5.88 |
| point-processes-on-agegroup-transactions-mtpp | RMTPP | Accuracy (%): 34.15 MAE: 0.749 OTD: 6.88 T-mAP: 6.69 |
| point-processes-on-amazon-mtpp | IFTPP | Accuracy (%): 35.73 MAE: 0.242 OTD: 6.52 T-mAP: 22.56 |
| point-processes-on-amazon-mtpp | RMTPP | Accuracy (%): 35.76 MAE: 0.294 OTD: 6.57 T-mAP: 20.06 |
| point-processes-on-amazon-mtpp | NHP | Accuracy (%): 11.06 MAE: 0.449 OTD: 9.02 T-mAP: 26.29 |
| point-processes-on-retweet-mtpp | ODE-RNN | Accuracy (%): 59.95 MAE: 18.38 OTD: 165.3 T-mAP: 48.81 |
| point-processes-on-retweet-mtpp | NHP | Accuracy (%): 60.08 MAE: 18.42 OTD: 165.8 T-mAP: 45.07 |
| point-processes-on-retweet-mtpp | AttNHP | Accuracy (%): 60.03 MAE: 18.39 OTD: 171.6 T-mAP: 25.85 |
| point-processes-on-retweet-mtpp | RMTPP | Accuracy (%): 60.07 MAE: 18.45 OTD: 166.7 T-mAP: 44.74 |
| point-processes-on-retweet-mtpp | IFTPP | Accuracy (%): 59.95 MAE: 18.27 OTD: 172.7 T-mAP: 31.75 |
| point-processes-on-stackoverflow-mtpp | IFTPP | Accuracy (%): 45.41 MAE: 0.641 OTD: 13.64 T-mAP: 8.31 |
| point-processes-on-stackoverflow-mtpp | RMTPP | Accuracy (%): 45.43 MAE: 0.701 OTD: 13.17 T-mAP: 12.72 |