期刊文献+
共找到20篇文章
< 1 >
每页显示 20 50 100
基于局部和全局语义融合的跨语言句子语义相似度计算模型 被引量:14
1
作者 李霞 刘承标 +1 位作者 章友豪 蒋盛益 《中文信息学报》 CSCD 北大核心 2019年第6期18-26,共9页
跨语言句子语义相似度计算旨在计算不同语言句子之间的语义相似程度。近年来,前人提出了基于神经网络的跨语言句子语义相似度模型,这些模型多数使用卷积神经网络来捕获文本的局部语义信息,缺少对句子中远距离单词之间语义相关信息的获... 跨语言句子语义相似度计算旨在计算不同语言句子之间的语义相似程度。近年来,前人提出了基于神经网络的跨语言句子语义相似度模型,这些模型多数使用卷积神经网络来捕获文本的局部语义信息,缺少对句子中远距离单词之间语义相关信息的获取。该文提出一种融合门控卷积神经网络和自注意力机制的神经网络结构,用于获取跨语言文本句子中的局部和全局语义相关关系,从而得到文本的综合语义表示。在SemEval-2017多个数据集上的实验结果表明,该文提出的模型能够从多个方面捕捉句子间的语义相似性,结果优于基准方法中基于纯神经网络的模型方法。 展开更多
关键词 跨语言文本句子语义相似度 自注意力机制 门控卷积神经网络
在线阅读 下载PDF
基于WordNet的中泰文跨语言文本相似度计算 被引量:12
2
作者 石杰 周兰江 +1 位作者 线岩团 余正涛 《中文信息学报》 CSCD 北大核心 2016年第4期65-70,共6页
文本相似度在信息检索、文本挖掘、抄袭检测等领域有着广泛的应用。目前,大多数研究都只是针对同一种语言的文本相似度计算,关于跨语言文本相似度计算的研究则很少,不同语言之间的差异使得跨语言文本相似度计算很困难,针对这种情况,该... 文本相似度在信息检索、文本挖掘、抄袭检测等领域有着广泛的应用。目前,大多数研究都只是针对同一种语言的文本相似度计算,关于跨语言文本相似度计算的研究则很少,不同语言之间的差异使得跨语言文本相似度计算很困难,针对这种情况,该文提出一种基于WordNet的中泰文跨语言文本相似度的计算方法。首先对中泰文本进行预处理和特征选择,然后利用语义词典WordNet将中泰文本转换成中间层语言,最后在中间层上计算中泰文本的相似度。实验结果表明,该方法准确率达到82%。 展开更多
关键词 WORDNET 中间层语言 语言文本相似
在线阅读 下载PDF
基于双语LDA的跨语言文本相似度计算方法研究 被引量:7
3
作者 程蔚 线岩团 +2 位作者 周兰江 余正涛 王红斌 《计算机工程与科学》 CSCD 北大核心 2017年第5期978-983,共6页
基于双语主题模型思想分析双语文本相似性,提出基于双语LDA跨语言文本相似度计算方法。先利用双语平行语料集训练双语LDA模型,再利用该模型预测新语料集主题分布,将新语料集的双语文档映射到同一个主题向量空间,结合主题分布使用余弦相... 基于双语主题模型思想分析双语文本相似性,提出基于双语LDA跨语言文本相似度计算方法。先利用双语平行语料集训练双语LDA模型,再利用该模型预测新语料集主题分布,将新语料集的双语文档映射到同一个主题向量空间,结合主题分布使用余弦相似度方法计算新语料集双语文档的相似度,使用从类别间和类别内的主题分布离散度的角度改进的主题频率-逆文档频率方法计算特征主题权重。实验表明,改进后的权重计算对于基于双语LDA相似度算法的召回率有较大提高,算法对类别不受限且有较好的可靠性。 展开更多
关键词 双语LDA 语言文本相似 余弦相似 主题频率-逆文档频率
在线阅读 下载PDF
一种结合词项语义信息和TF-IDF方法的文本相似度量方法 被引量:230
4
作者 黄承慧 印鉴 侯昉 《计算机学报》 EI CSCD 北大核心 2011年第5期856-864,共9页
传统的文本相似度量方法大多采用TF-IDF方法把文本建模为词频向量,利用余弦相似度量等方法计算文本之间的相似度.这些方法忽略了文本中词项的语义信息.改进的基于语义的文本相似度量方法在传统词频向量中扩充了语义相似的词项,进一步增... 传统的文本相似度量方法大多采用TF-IDF方法把文本建模为词频向量,利用余弦相似度量等方法计算文本之间的相似度.这些方法忽略了文本中词项的语义信息.改进的基于语义的文本相似度量方法在传统词频向量中扩充了语义相似的词项,进一步增加了文本表示向量的维度,但不能很好地反映两篇文本之间的相似程度.文中在TF-IDF模型基础上分析文本中重要词汇的语义信息,提出了一种新的文本相似度量方法.该方法首先应用自然语言处理技术对文本进行预处理,然后利用TF-IDF方法寻找文本中具有较高TF-IDF值的重要词项.借助外部词典分析词项之间的语义相似度,结合该文提出的词项相似度加权树以及文本语义相似度定义计算两篇文本之间的相似度.最后利用文本相似度在基准文本数据集合上进行聚类实验.实验结果表明文中提出的方法在基于F-度量值标准上优于TF-IDF以及另一种基于词项语义相似性的方法. 展开更多
关键词 文本聚类 词项语义相似 文本相似 自然语言处理
在线阅读 下载PDF
基于特征相似度的跨语言事件映射 被引量:3
5
作者 唐亮 席耀一 +1 位作者 赵晓峰 易绵竹 《计算机应用》 CSCD 北大核心 2016年第A02期247-250,共4页
跨语言事件映射主要研究的是不同语言的事件之间的相似性。针对传统方法仅从文本内容来获取特征词导致准确率不高的问题,提出从文本标题、文本内容以及新词发现三方面综合分析,通过计算候选词的综合权重来得到最终的特征词。实验证明了... 跨语言事件映射主要研究的是不同语言的事件之间的相似性。针对传统方法仅从文本内容来获取特征词导致准确率不高的问题,提出从文本标题、文本内容以及新词发现三方面综合分析,通过计算候选词的综合权重来得到最终的特征词。实验证明了与传统方法相比,该方法准确性大大提高。 展开更多
关键词 事件相似 语言对齐 特征向量提取 文本聚类 概念扩展
在线阅读 下载PDF
句子语义相似度计算 被引量:3
6
作者 吕强 邓薇 宋玲 《计算机工程与应用》 CSCD 北大核心 2010年第36期150-153,229,共5页
句子或文本片段相似度计算在与Web相关的任务中起着越来越重要的作用。在基于概念之间的语义相似度基础之上,提出一种句子语义相似度的计算方法SSBS并进行了相关的实验。与其他方法相比,SSBS方法在特征的量化过程中不仅考虑两个句子的... 句子或文本片段相似度计算在与Web相关的任务中起着越来越重要的作用。在基于概念之间的语义相似度基础之上,提出一种句子语义相似度的计算方法SSBS并进行了相关的实验。与其他方法相比,SSBS方法在特征的量化过程中不仅考虑两个句子的概念对之间的语义相似度和字符串编辑距离,还考虑了不同词性的概念对句子相似度的影响。 展开更多
关键词 语义相似计算 句子 文本片段 本体
在线阅读 下载PDF
语义文本相似度计算方法 被引量:37
7
作者 韩程程 李磊 +1 位作者 刘婷婷 高明 《华东师范大学学报(自然科学版)》 CAS CSCD 北大核心 2020年第5期95-112,共18页
综述了语义文本相似度计算的最新研究进展,主要包括基于字符串、基于统计、基于知识库和基于深度学习的方法.针对每一类方法,不仅介绍了其中典型的模型和方法,而且深入探讨了各类方法的优缺点;并对该领域的常用公开数据集和评估指标进... 综述了语义文本相似度计算的最新研究进展,主要包括基于字符串、基于统计、基于知识库和基于深度学习的方法.针对每一类方法,不仅介绍了其中典型的模型和方法,而且深入探讨了各类方法的优缺点;并对该领域的常用公开数据集和评估指标进行了整理,最后讨论并总结了该领域未来可能的研究方向. 展开更多
关键词 文本相似 语义相似 自然语言处理 知识库 学习
在线阅读 下载PDF
基于多模型集成的语义文本相似性判断 被引量:4
8
作者 苏锦钿 洪晓斌 余珊珊 《华南理工大学学报(自然科学版)》 EI CAS CSCD 北大核心 2022年第4期1-9,共9页
作为目前自然语言处理及人工智能领域的主流方法,各种预训练语言模型由于在语言建模、特征表示、模型结构、训练目标及训练语料等方面存在差异,导致它们在下游任务中的表现各有优劣。为了更好地融合不同预训练语言模型中的知识及在下游... 作为目前自然语言处理及人工智能领域的主流方法,各种预训练语言模型由于在语言建模、特征表示、模型结构、训练目标及训练语料等方面存在差异,导致它们在下游任务中的表现各有优劣。为了更好地融合不同预训练语言模型中的知识及在下游任务中的学习能力,结合语义文本相似性判断任务的特点,提出一种多模型集成方法MME-STS,给出相应的模型总体架构及相应的特征表示,并针对多模型的集成问题分别提出基于平均值、基于全连接层训练和基于Adaboost算法的3种不同集成策略,同时在两个常用的经典基准数据集上验证该方法的有效性。实验结果表明,MME-STS在国际语义评测SemEval 2014任务4的SICK和SemEval 2017 STS-B数据集上的Pearson共关系值和Spearman相关系数值均超过单个预训练语言模型方法。 展开更多
关键词 学习 语义文本相似 自然语言处理 预训练语言模型 多模型集成
在线阅读 下载PDF
融合耦合距离区分度和强类别特征的短文本相似度计算方法 被引量:13
9
作者 马慧芳 刘文 +1 位作者 李志欣 蔺想红 《电子学报》 EI CAS CSCD 北大核心 2019年第6期1331-1336,共6页
短文本相似度计算在社会网络、文本挖掘和自然语言处理等领域中起着至关重要的作用.针对短文本内容简短、特征稀疏等特点,以及传统的短文本相似度计算忽略类别信息等问题,提出一种融合耦合距离区分度和强类别特征的短文本相似度计算方法... 短文本相似度计算在社会网络、文本挖掘和自然语言处理等领域中起着至关重要的作用.针对短文本内容简短、特征稀疏等特点,以及传统的短文本相似度计算忽略类别信息等问题,提出一种融合耦合距离区分度和强类别特征的短文本相似度计算方法.一方面,在整个短文本语料库中利用两个共现词之间的距离计算词项共现距离相关度,并以此来对词项加权从而捕获词项间内联和外联关系,得到短文本的耦合距离区分度相似度;另一方面,基于少量带类别标签的监督数据提取每类中强类别区分能力的特征项作为强类别特征集合,并利用词项的上下文来对强类别特征语义消歧,然后基于文本间包含相同类别的强类别特征数量来衡量文本间的相似度.最后,本文结合耦合距离区分度和强类别特征来衡量短文本的相似度.经实验证明本文提出的方法能够提高短文本相似度计算的准确率. 展开更多
关键词 文本挖掘 自然语言处理 文本聚类 社会网络 耦合关系 特征提取 语义消歧 相似计算
在线阅读 下载PDF
基于Transformer模型的问句语义相似度计算 被引量:7
10
作者 丁邱 迟海洋 +2 位作者 严馨 徐广义 邓忠莹 《计算机工程与设计》 北大核心 2023年第3期887-893,共7页
针对现有方法准确率不高、不能充分捕捉句子深层次语义特征的问题,提出一种基于Transformer编码器网络的问句相似度计算方法。在获取句子语义特征前引入交互注意力机制比较句子间词粒度的相似性,通过注意力矩阵和句子矩阵相互生成彼此... 针对现有方法准确率不高、不能充分捕捉句子深层次语义特征的问题,提出一种基于Transformer编码器网络的问句相似度计算方法。在获取句子语义特征前引入交互注意力机制比较句子间词粒度的相似性,通过注意力矩阵和句子矩阵相互生成彼此注意力加权后的新的句子表示矩阵,将获取的新矩阵同原始矩阵拼接融合,丰富句子特征信息;将拼接后的句子特征矩阵作为Transformer编码器网络的输入,由Transformer编码器分别对其进行深层次语义编码,获得句子的全局语义特征;通过全连接网络和Softmax函数对特征进行权重调整,得到句子相似度。在中文医疗健康问句数据集上模型取得了90.2%的正确率,较对比模型提升了将近4.2%,验证了该方法可以有效提高句子的语义表示能力和语义相似度的准确性。 展开更多
关键词 自然语言处理 Transformer编码器 交互注意力机制 特征融合 语义相似 语义编码 句子表示
在线阅读 下载PDF
基于联合损失函数和组合对比学习的语义嵌入方法
11
作者 高晓欣 陆谣 +3 位作者 孔祥茂 刘玉玺 邓伟 杨淞皓 《电信科学》 北大核心 2025年第7期96-107,共12页
对比学习在语义嵌入中表现出色,能够通过捕捉数据样本间的关系提升模型的表示能力。然而,其效果主要受正样本构建和目标函数选择的影响。正样本需要精心设计,以确保模型能有效识别有意义的相似性并减少噪声干扰。为此,提出一种新方法,... 对比学习在语义嵌入中表现出色,能够通过捕捉数据样本间的关系提升模型的表示能力。然而,其效果主要受正样本构建和目标函数选择的影响。正样本需要精心设计,以确保模型能有效识别有意义的相似性并减少噪声干扰。为此,提出一种新方法,通过拆分、编码、聚合和投射文本来构建正样本。文本被分解为片段,编码用于提取语义内容,聚合用于突出关系,最终投射到适合学习的语义空间。此外,设计了两种监督损失函数,与标准对比损失相辅相成,以增强语义空间的区分性,从而提升模型辨别能力。实验结果表明,该方法在2个公开数据集和1个私有数据集上表现出色,显著提升了语义嵌入质量,解决了对比学习的核心挑战,并为其在自然语言处理领域的进一步应用奠定了基础。 展开更多
关键词 对比学习 句子嵌入 语义相似 文本分类 联合损失函数
在线阅读 下载PDF
多特征融合的语句相似度计算模型 被引量:19
12
作者 张培颖 《计算机工程与应用》 CSCD 北大核心 2010年第26期136-137,157,共3页
句子的相似度计算在自然语言处理的各个领域都占有十分重要的地位。提出了一种多特征融合的句子相似度计算模型,该计算方法把句子的词形、词序、结构、长度、距离和语义这6种特征相似度考虑进来,通过对不同的特征赋予不同的权重来调节... 句子的相似度计算在自然语言处理的各个领域都占有十分重要的地位。提出了一种多特征融合的句子相似度计算模型,该计算方法把句子的词形、词序、结构、长度、距离和语义这6种特征相似度考虑进来,通过对不同的特征赋予不同的权重来调节各个特征对于句子相似度的贡献,从而使计算结果得到最优。实验结果表明,该方法与其他方法相比,描述句子的信息更加全面,在计算句子相似度方面具有较高的准确率。 展开更多
关键词 自然语言处理 句子相似 多特征融合 结构相似 语义相似
在线阅读 下载PDF
基于多注意力CNN的问题相似度计算模型 被引量:15
13
作者 冯兴杰 张乐 曾云泽 《计算机工程》 CAS CSCD 北大核心 2019年第9期284-290,共7页
在智能客服问答系统中,用户所提问句具有咨询意图复杂、上下文相关性弱以及口语化等特点,导致问句相似度计算的准确率不高,出现答非所问的情况。提出一种基于卷积神经网络的相似度计算模型MA-CNN。通过2个不同的注意力机制,同时关注词... 在智能客服问答系统中,用户所提问句具有咨询意图复杂、上下文相关性弱以及口语化等特点,导致问句相似度计算的准确率不高,出现答非所问的情况。提出一种基于卷积神经网络的相似度计算模型MA-CNN。通过2个不同的注意力机制,同时关注词汇间的语义信息和句子间的整体语义信息,提高智能客服对问题的理解能力。实验结果表明,与基于词向量和基于循环神经网络的模型相比,MA-CNN模型对问句的辨识能力更强,其 F 1值最高可达0.501。 展开更多
关键词 智能客服 文本相似 词语语义 句子语义 卷积神经网络 注意力机制
在线阅读 下载PDF
利用BERT和覆盖率机制改进的HiNT文本检索模型 被引量:2
14
作者 邸剑 刘骏华 曹锦纲 《智能系统学报》 CSCD 北大核心 2024年第3期719-727,共9页
为有效提升文本语义检索的准确度,本文针对当前文本检索模型衡量查询和文档的相关性时不能很好地解决文本歧义和一词多义等问题,提出一种基于改进的分层神经匹配模型(hierarchical neural matching model,HiNT)。该模型先对文档的各个... 为有效提升文本语义检索的准确度,本文针对当前文本检索模型衡量查询和文档的相关性时不能很好地解决文本歧义和一词多义等问题,提出一种基于改进的分层神经匹配模型(hierarchical neural matching model,HiNT)。该模型先对文档的各个段提取关键主题词,然后用基于变换器的双向编码器(bidirectional encoder representations from transformers,BERT)模型将其编码为多个稠密的语义向量,再利用引入覆盖率机制的局部匹配层进行处理,使模型可以根据文档的局部段级别粒度和全局文档级别粒度进行相关性计算,提高检索的准确率。本文提出的模型在MS MARCO和webtext2019zh数据集上与多个检索模型进行对比,取得了最优结果,验证了本文提出模型的有效性。 展开更多
关键词 基于变换器的双向编码器 分层神经匹配模型 覆盖率机制 文本检索 语义表示 特征提取 自然语言处理 相似 多粒
在线阅读 下载PDF
一种针对维汉的跨语言远程监督方法
15
作者 杨振宇 王磊 +4 位作者 马博 杨雅婷 董瑞 艾孜麦提·艾瓦尼尔 王震 《计算机工程》 CAS CSCD 北大核心 2023年第2期271-278,共8页
远程监督是关系抽取领域重要的语料扩充技术,可以在少量已标注语料的基础上快速生成伪标注语料。但是传统的远程监督方法主要应用于单语种文本,维吾尔语等低资源语言并不能使用这类方法得到伪标注语料。针对上述问题,提出一种针对维汉... 远程监督是关系抽取领域重要的语料扩充技术,可以在少量已标注语料的基础上快速生成伪标注语料。但是传统的远程监督方法主要应用于单语种文本,维吾尔语等低资源语言并不能使用这类方法得到伪标注语料。针对上述问题,提出一种针对维汉的跨语言远程监督方法,在无语料的情况下利用现有的汉语语料进行维语语料的自动扩充。将远程监督视为文本语义相似度计算问题而不是简单的文本查找,从实体语义和句子语义2个层面判断维语和汉语句子对是否包含同一关系,若为同一关系则将已有的汉语标注转移到维语句子上,实现维语语料从零开始的自动扩充。此外,为有效捕获实体的上下文和隐藏语义信息,提出一种带有门控机制的交互式匹配方法,通过门控单元控制编码层、注意力层之间的信息传递。人工标记3500条维语句子和600条汉语句子用于模拟远程监督过程并验证模型的性能。实验结果表明,该方法F1值达到73.05%,并且成功构造了包含97949条维语句子的关系抽取伪标注数据集。 展开更多
关键词 关系抽取 语义相似 语义编码 远程监督 语言
在线阅读 下载PDF
相似度增强的译文质量评估方法
16
作者 陈世男 贡正仙 +1 位作者 李军辉 周国栋 《厦门大学学报(自然科学版)》 CAS CSCD 北大核心 2022年第4期646-653,共8页
机器翻译的质量评估作为不依赖参考译文而预测翻译质量的任务,在机器翻译领域中起到了重要的作用.相较于机器翻译,质量评估的数据资源非常稀缺,将跨语言预训练模型应用到该任务中,不但能受益于从大规模语料中学习到的跨语言知识,解决数... 机器翻译的质量评估作为不依赖参考译文而预测翻译质量的任务,在机器翻译领域中起到了重要的作用.相较于机器翻译,质量评估的数据资源非常稀缺,将跨语言预训练模型应用到该任务中,不但能受益于从大规模语料中学习到的跨语言知识,解决数据量不足的问题,而且极大地节约了计算资源.但与建立跨语言预训练模型采用的正常数据不同,译文质量评估面对的是正常的源端文本和错误程度不同的目标端文本,即它需要应对更大的两端语义差异.因此,本文为基于跨语言预训练模型的译文质量评估系统引入了特殊的语义关联处理层,通过相似度增强的拼接机制来增强原文与译文的语义关联性,从而提高质量评估的准确性.该方法在WMT19质量评估任务数据集上的实验结果验证了上述方法的有效性. 展开更多
关键词 质量评估 机器翻译 语言预训练模型 语义关联层 相似增强
在线阅读 下载PDF
面向阅读理解的句子组合模型 被引量:2
17
作者 王元龙 《计算机应用》 CSCD 北大核心 2017年第6期1741-1746,共6页
阅读理解任务需要综合运用文本的表示、理解、推理等自然语言处理技术。针对高考语文中文学作品阅读理解的选项题问题,提出了基于分层组合模式的句子组合模型,用来实现句子级的语义一致性计算。首先,通过单个词和短语向量组成的三元组... 阅读理解任务需要综合运用文本的表示、理解、推理等自然语言处理技术。针对高考语文中文学作品阅读理解的选项题问题,提出了基于分层组合模式的句子组合模型,用来实现句子级的语义一致性计算。首先,通过单个词和短语向量组成的三元组来训练一个神经网络模型;然后,通过训练好的神经网络模型来组合句子向量(两种组合方法:一种为递归方法;另一种为循环方法),得到句子的分布式向量表示。句子间的一致性利用两个句子向量之间的余弦相似度来表示。为了验证所提方法,收集了769篇模拟材料+13篇北京高考语文试卷材料(包括原文与选择题)作为测试集。实验结果表明,与传统最优的基于知网语义方法相比,循环方法准确率在高考材料中提高了7.8个百分点,在模拟材料中提高了2.7个百分点。 展开更多
关键词 自然语言理解 句子组合模型 阅读理解 语义相似计算
在线阅读 下载PDF
ESM:一种增强语义匹配的语句评分模型 被引量:1
18
作者 曹小鹏 邵一萌 《计算机工程与科学》 CSCD 北大核心 2020年第6期1134-1140,共7页
语义匹配问题是自然语言处理的核心问题之一。基于语义的匹配,即通过提取文本内在语义进行匹配度计算,是目前自然语言处理领域研究的热点。传统的语义匹配模型并没有结合语句通顺度等多种要素综合评价,因此效果较差。提出一种增强语义... 语义匹配问题是自然语言处理的核心问题之一。基于语义的匹配,即通过提取文本内在语义进行匹配度计算,是目前自然语言处理领域研究的热点。传统的语义匹配模型并没有结合语句通顺度等多种要素综合评价,因此效果较差。提出一种增强语义匹配模型,模型在文本相似度计算的基础上,增加通顺度因子,并通过大量数据来调整最优参数。通过自动阅卷系统进行测试,对比3种常用的自动阅卷评分模型验证该模型能有效降低平均误差值。 展开更多
关键词 文本相似 统计语言 语义匹配 自动阅卷
在线阅读 下载PDF
面向游戏客服场景的自动问答系统研究与实现 被引量:11
19
作者 王丽月 叶东毅 《计算机工程与应用》 CSCD 北大核心 2016年第17期152-159,共8页
针对游戏客服场景中玩家领域化、口语化的提问方式,应用深度学习工具word2vec建立带有语义的词的向量表示,设计了一种利用词向量距离,结合同义词替换、权重、句子长度、词序等因素的句子相似度计算模型。在该模型基础上,通过预分类、重... 针对游戏客服场景中玩家领域化、口语化的提问方式,应用深度学习工具word2vec建立带有语义的词的向量表示,设计了一种利用词向量距离,结合同义词替换、权重、句子长度、词序等因素的句子相似度计算模型。在该模型基础上,通过预分类、重定义分类规则,对KNN分类算法的大类占优、全局匹配计算代价高等问题进行改进,实现了一种基于文本分类的面向游戏客服场景的自动问答系统。实验结果表明,该系统具有较高的问题分类准确率和分类效率。 展开更多
关键词 word2vec 句子相似 文本分类 自动问答 自然语言处理
在线阅读 下载PDF
基于改进SimCSE的无监督句嵌入方法 被引量:3
20
作者 郭江华 苑迎春 +1 位作者 王克俭 何晨 《计算机工程与设计》 北大核心 2023年第8期2382-2388,共7页
针对无监督SimCSE相同语义正样本差异性不足、模型训练与预测阶段具有不一致性的问题,基于SimCSE提出一种改进的无监督句嵌入方法SimCSE-PSER。采用dropout和位置嵌入扰动联合进行数据增强,提升正样本质量;引入R-Drop正则化方法,降低无... 针对无监督SimCSE相同语义正样本差异性不足、模型训练与预测阶段具有不一致性的问题,基于SimCSE提出一种改进的无监督句嵌入方法SimCSE-PSER。采用dropout和位置嵌入扰动联合进行数据增强,提升正样本质量;引入R-Drop正则化方法,降低无监督SimCSE使用dropout作为数据增强方法带来的训练与预测阶段不一致性。实验基于BERT模型在跨领域的4个中文语义文本相似度任务数据集上进行,结果表明该方法优于其它主流无监督句嵌入方法。 展开更多
关键词 语义文本相似 无监督 句嵌入 对比学习 数据增强 正则化 预训练语言模型
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部