摘要
我们介绍了MASSIVE数据集——多语言亚马逊资源包（SLURP）用于槽填充、意图分类和虚拟助手评估。MASSIVE包含100万条现实的、平行的、标注的虚拟助手话语，涵盖51种语言、18个领域、60个意图和55个槽位。该数据集是由专业翻译人员将仅限英语的SLURP数据集本地化为来自29个语系的50种类型学上多样化的语言而创建的。我们还展示了在XLM-R和mT5模型上的实验结果，包括精确匹配准确率、意图分类准确率和槽填充F1分数。我们已公开发布了我们的数据集、建模代码和模型。
代码仓库
hlt-mt/speech-massive
pytorch
GitHub 中提及
https://bitbucket.org/robvanderg/sid4lr
GitHub 中提及
alexa/massive
官方
pytorch
GitHub 中提及
pswietojanski/slurp
GitHub 中提及
ai4bharat/indicbert
tf
GitHub 中提及
rita-nlp/italic
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| intent-classification-on-massive | mT5 Base (text-to-text) | Intent Accuracy: 85.3 |
| intent-classification-on-massive | mT5 Base (encoder-only) | Intent Accuracy: 86.1 |
| intent-classification-on-massive | XLM-R Base | Intent Accuracy: 85.1 |
| slot-filling-on-massive | mT5 Base (text-to-text) | Slot F1 Score: 81.3 |
| slot-filling-on-massive | XLM-R Base | Slot F1 Score: 83.6 |
| slot-filling-on-massive | mT5 Base (encoder-only) | Slot F1 Score: 82.2 |
| zero-shot-slot-filling-on-massive | mT5 Base (encoder-only) | Slot F1 Score: 56.9 |
| zero-shot-slot-filling-on-massive | mT5 Base (text-to-text) | Slot F1 Score: 50.6 |
| zero-shot-slot-filling-on-massive | XLM-R Base | Slot F1 Score: 64.2 |