摘要
在知识图谱嵌入领域，softmax交叉熵损失函数与负采样损失函数之间的理论关系尚未得到充分研究，这使得两者结果的公平比较变得困难。为解决这一问题，本文尝试利用Bregman散度对softmax交叉熵损失与负采样损失函数进行统一解释。在此框架下，我们得以推导出可用于公平比较的理论结论。在FB15k-237和WN18RR数据集上的实验结果表明，这些理论发现能够在实际应用场景中得到有效验证。
代码仓库
kamigaito/acl2021kge
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| link-prediction-on-fb15k-237 | RESCAL (SCE w/ LS) | Hits@1: 0.269 Hits@10: 0.548 Hits@3: 0.4 MRR: 0.363 |
| link-prediction-on-fb15k-237 | RESCAL (SCE w/ LS pretrained) | Hits@1: 0.269 Hits@10: 0.55 Hits@3: 0.402 MRR: 0.364 |
| link-prediction-on-wn18rr | ComplEx (SCE w/ LS pretrained) | Hits@1: 0.444 Hits@10: 0.553 Hits@3: 0.496 MRR: 0.481 |
| link-prediction-on-wn18rr | ComplEx (SCE w/ LS) | Hits@1: 0.441 Hits@10: 0.546 Hits@3: 0.491 MRR: 0.477 |