摘要
本文对用于常识推理任务的俄语语料库进行了全面概述。具体而言，我们构建了涵盖广泛日常情境的事件短语，其中标注了事件主要参与者的行为意图与反应，以及涉及其他人物的情绪状态。该语料库由两部分组成：一部分为来自俄语来源的众包语料，包含6,756个样本；另一部分为原始语料库中23,409个样本的俄语翻译版本。此外，我们利用所收集的数据训练了适用于俄语的Event2Mind模型。本文还详细描述了当前表现最佳的俄语模型，并报告了实验所取得的结果。
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| common-sense-reasoning-on-russian-event2mind | ruscorpora fasttext + GRU | recall@10: 0.822 |
| common-sense-reasoning-on-russian-event2mind | ruscorpora fasttext + LSTM | recall@10: 0.821 |
| common-sense-reasoning-on-russian-event2mind | araneum fasttext + LSTM | recall@10: 0.818 |
| common-sense-reasoning-on-russian-event2mind | araneum word2vec (skipgram) + LSTM | recall@10: 0.816 |
| common-sense-reasoning-on-russian-event2mind | ruscorpora word2vec (skipgram) + GRU | recall@10: 0.825 |
| common-sense-reasoning-on-russian-event2mind | araneum fasttext + GRU | recall@10: 0.819 |
| common-sense-reasoning-on-russian-event2mind | araneum word2vec (skipgram) + GRU | recall@10: 0.827 |