4 个月前

双对比学习:基于标签感知的数据增强进行文本分类

双对比学习:基于标签感知的数据增强进行文本分类

摘要

对比学习在无监督环境下通过自监督在表征学习中取得了显著的成功。然而,在实际应用中,将其有效适应到有监督学习任务中仍然是一个挑战。在这项工作中,我们引入了一种双重对比学习(DualCL)框架,该框架在同一空间内同时学习输入样本的特征和分类器的参数。具体而言,DualCL将分类器的参数视为与不同标签相关联的增强样本,然后利用输入样本与增强样本之间的对比学习。在五个基准文本分类数据集及其低资源版本上的实证研究展示了分类准确率的提升,并证实了DualCL在学习判别性表征方面的能力。

代码仓库

hiyouga/dual-contrastive-learning
官方
pytorch
GitHub 中提及
hiyouga/hiyouga
tf
GitHub 中提及

基准测试

基准方法指标
sentiment-analysis-on-sst-2-binaryRoBERTa+DualCL
Accuracy: 94.91
subjectivity-analysis-on-subjRoBERTa+DualCL
Accuracy: 97.34
text-classification-on-trec-6RoBERTa+DualCL
Error: 2.60

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
双对比学习:基于标签感知的数据增强进行文本分类 | 论文 | HyperAI超神经