4 个月前

理解具有中间预训练的表格

理解具有中间预训练的表格

摘要

表格蕴含(Table Entailment)是一项二分类任务,旨在判断一个句子是否得到表格内容的支持或反驳。这项任务需要解析语言和表格结构,同时进行数值和离散推理。尽管在文本蕴含方面已有大量研究,但表格蕴含的研究相对较少。我们对TAPAS(Herzig等,2020年)进行了改进,这是一种基于表格的BERT模型,用于识别蕴含关系。受到数据增强优势的启发,我们创建了一个包含数百万自动生成训练样本的平衡数据集,在微调之前通过中间步骤进行学习。这些新数据不仅对表格蕴含有用,还适用于SQA(Iyyer等,2017年),即顺序表格问答任务。为了能够将长示例作为BERT模型的输入,我们在预处理步骤中评估了表格剪枝技术,以显著提高训练和预测效率,尽管准确率有适度下降。不同的方法在TabFact(Chen等,2020年)和SQA数据集上设立了新的最先进水平。

代码仓库

google-research/tapas
官方
tf
GitHub 中提及

基准测试

基准方法指标
table-based-fact-verification-on-tabfactTAPAS-Large classifier with Counterfactual + Synthetic pre-training
Test: 81.0
Val: 81.0

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
理解具有中间预训练的表格 | 论文 | HyperAI超神经