-
题名基于增强型动量对比学习的句向量相似度表征方法
- 1
-
-
作者
齐士博
金日泽
-
机构
天津工业大学计算机科学与技术学院
天津工业大学软件学院
天津市自主智能技术与系统国际科技合作基地
-
出处
《中文信息学报》
北大核心
2025年第8期11-18,共8页
-
基金
国家自然科学基金(62072335,61902281)。
-
文摘
近年来,基于动量更新的对比学习方法在计算机视觉领域获得了巨大的成功,其很好地解决了对比学习中负例样本受batch(批次)大小限制而导致的负例样本不足的问题,但把它直接运用于自然语言处理领域时,由于在数据增强组合策略方面缺乏探索,并且没有充分利用训练期间产生的全部负样本,所以无法达到预期的性能。因此,该文提出了一种增强型的动量对比学习方法,针对以上问题,论文专门为输入文本探索了一套完整的数据增强组合策略来提升其在自然语言处理领域的适应性,并且提出了一个新颖的Dual-Negative损失来解决样本利用率问题。在12个STS(语义文本相似度)数据集上的实验表明,该方法在英文任务上接近或追平了目前的最优结果,在中文任务上超过了最优结果,证明了该方法在句向量相似度表征方面具有一定的能力。
-
关键词
动量更新
对比学习
句向量表征
语义相似度
-
Keywords
momentum update
eontrastive leamning
senlence representation
semantle text similarity
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
