摘要

语义数据类型的检测在数据科学中是一项至关重要的任务，广泛应用于自动化数据清洗、模式匹配、数据发现、语义数据类型标准化以及敏感数据识别等领域。现有的方法主要包括基于正则表达式或词典查找的方法，这些方法对脏数据及未见过的数据缺乏鲁棒性，且可识别的语义数据类型种类极为有限。现有的机器学习方法则通过从数据中提取大量人工设计的特征，并构建逻辑回归、随机森林或前馈神经网络等模型来实现检测。本文提出DCoM，一种基于多输入自然语言处理（NLP）的深度神经网络集合，用于语义数据类型的检测。与传统方法不同，DCoM不依赖于复杂的手工特征工程，而是直接将列（或实例）的原始值作为文本输入模型。我们在从VizNet语料库中提取的686,765个数据列上训练DCoM，涵盖78种不同的语义数据类型。实验结果表明，DCoM在相同数据集上的表现显著优于现有主流方法。