摘要

近日，二进制表示被提出作为一种介于连续表示和离散表示之间的新型表示方法。当用于替代连续输入向量时，它表现出显著的信息保留能力。在本文中，我们探讨了将其进一步引入输出端的可行性，目标是使模型能够输出二进制标签。为了在输出端保留结构信息以及标签信息，我们将先前的对比哈希方法扩展为结构化对比哈希（structured contrastive hashing）。具体而言，我们将CKY从标签级提升到比特级，定义了一种新的基于跨度边缘概率的相似度函数，并引入了一种具有精心设计实例选择策略的新对比损失函数。我们的模型在各种结构预测任务上取得了具有竞争力的性能，并证明了二进制表示可以被视为一种新型表示方法，进一步弥合了深度学习的连续性质与自然语言的离散内在属性之间的差距。