-
题名基于文本-视觉和信息熵最小化的对比学习模型
- 1
-
-
作者
蔡晓东
董丽芳
黄业洋
周丽
-
机构
桂林电子科技大学信息与通信学院
南宁西岸枫谷商务数据有限公司
-
出处
《华南理工大学学报(自然科学版)》
北大核心
2025年第3期50-56,共7页
-
基金
广西创新驱动发展专项(AA20302001)。
-
文摘
当前的无监督对比学习方法主要依赖纯文本信息来构建句子嵌入,在全面理解句子所表达的深层含义时存在局限性。同时,传统的对比学习方法过于注重最大化文本正实例之间的互信息,忽视了句子嵌入中潜在的噪声干扰。为了既能保留文本中的有用信息,又能有效地剔除文本嵌入中的噪声干扰,该文提出了一种基于文本-视觉和信息熵最小化的对比学习模型。首先,将文本与对应的视觉信息在对比学习的框架下进行深度融合,共同映射到一个统一的地面空间,并确保它们的表示在该空间中保持一致,从而克服了仅依赖纯文本信息进行句子嵌入学习的限制,使得对比学习过程更加全面且精确;然后,遵循信息最小化原则,在最大化文本正实例间互信息的同时,基于信息熵最小化对文本正实例进行重构。在标准语义文本相似度(STS)任务上的实验结果表明,所提出的模型在Spearman相关系数评价指标上取得了显著提升,相较于现有先进方法具有显著的优势,同时也证明了该模型的有效性。
-
关键词
无监督对比学习
互信息
文本-视觉
信息熵最小化
语义文本相似度
-
Keywords
unsupervised contrastive learning
mutual information
text-visual
information entropy minimization
semantic text similarity
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
