3 个月前

HoTPP基准测试:我们在长期事件预测方面表现如何?

HoTPP基准测试:我们在长期事件预测方面表现如何?

摘要

在金融、零售、社交网络和医疗等领域的应用中,对给定时间范围内多个未来事件的预测至关重要。标记时间点过程(Marked Temporal Point Processes, MTPP)为建模事件的发生时间及其类别标签提供了严谨的框架。然而,现有研究大多仅关注预测下一个事件,对长时域预测的探索仍十分有限。为弥补这一空白,我们提出了HoTPP——首个专为严格评估长时域预测而设计的基准测试平台。我们识别出当前广泛使用的评估指标存在的缺陷,提出了一种具有理论基础的T-mAP评价指标;构建了强有力的统计基线模型,并提供了主流模型的高效实现方案。实验结果表明,当前主流的MTPP方法在多数情况下甚至不如简单的统计基线模型。此外,我们对预测序列的多样性进行了分析,发现大多数方法存在模式坍缩(mode collapse)问题。最后,我们探讨了自回归机制与基于强度的损失函数对预测性能的影响,并指出了未来研究的有前景方向。HoTPP的源代码、超参数设置及完整的评估结果均已公开于GitHub。

代码仓库

ivan-chai/hotpp-benchmark
官方
pytorch
GitHub 中提及
ivan-chai/torch-linear-assignment
pytorch
GitHub 中提及

基准测试

基准方法指标
point-processes-on-agegroup-transactions-mtppNHP
Accuracy (%): 35.43
MAE: 0.696
OTD: 6.97
T-mAP: 5.61
point-processes-on-agegroup-transactions-mtppODE-RNN
Accuracy (%): 35.6
MAE: 0.695
OTD: 6.97
T-mAP: 5.52
point-processes-on-agegroup-transactions-mtppIFTPP
Accuracy (%): 34.08
MAE: 0.693
OTD: 6.90
T-mAP: 5.88
point-processes-on-agegroup-transactions-mtppRMTPP
Accuracy (%): 34.15
MAE: 0.749
OTD: 6.88
T-mAP: 6.69
point-processes-on-amazon-mtppIFTPP
Accuracy (%): 35.73
MAE: 0.242
OTD: 6.52
T-mAP: 22.56
point-processes-on-amazon-mtppRMTPP
Accuracy (%): 35.76
MAE: 0.294
OTD: 6.57
T-mAP: 20.06
point-processes-on-amazon-mtppNHP
Accuracy (%): 11.06
MAE: 0.449
OTD: 9.02
T-mAP: 26.29
point-processes-on-retweet-mtppODE-RNN
Accuracy (%): 59.95
MAE: 18.38
OTD: 165.3
T-mAP: 48.81
point-processes-on-retweet-mtppNHP
Accuracy (%): 60.08
MAE: 18.42
OTD: 165.8
T-mAP: 45.07
point-processes-on-retweet-mtppAttNHP
Accuracy (%): 60.03
MAE: 18.39
OTD: 171.6
T-mAP: 25.85
point-processes-on-retweet-mtppRMTPP
Accuracy (%): 60.07
MAE: 18.45
OTD: 166.7
T-mAP: 44.74
point-processes-on-retweet-mtppIFTPP
Accuracy (%): 59.95
MAE: 18.27
OTD: 172.7
T-mAP: 31.75
point-processes-on-stackoverflow-mtppIFTPP
Accuracy (%): 45.41
MAE: 0.641
OTD: 13.64
T-mAP: 8.31
point-processes-on-stackoverflow-mtppRMTPP
Accuracy (%): 45.43
MAE: 0.701
OTD: 13.17
T-mAP: 12.72

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
HoTPP基准测试:我们在长期事件预测方面表现如何? | 论文 | HyperAI超神经