BseCS:结合协同注意力的双向语义扩充代码搜索模型

1

作者 董以越 金大海 宫云战 《小型微型计算机系统》 北大核心 2025年第10期2531-2540,共10页

开发者会使用大量时间检索可复用代码片段以提高整体开发效率.传统代码搜索引擎无法理解代码和查询间语义关联,对查询中关键词准确度要求极高.现有基于深度学习的代码搜索模型一定程度上可建立有效语义关联,但仍对关键词准确度有较高要... 开发者会使用大量时间检索可复用代码片段以提高整体开发效率.传统代码搜索引擎无法理解代码和查询间语义关联,对查询中关键词准确度要求极高.现有基于深度学习的代码搜索模型一定程度上可建立有效语义关联,但仍对关键词准确度有较高要求,且代码与查询间存在模态差异,不规范命名与模态差异对语义理解造成严重负面影响.本文提出双向语义扩充机制并构建代码搜索模型BseCS,使用协同注意力机制将代码结构信息与查询语句自然语言信息分别融入查询特征和代码特征,减少对关键词的过度依赖并增强代码段自然语言成分以弥合模态差异.在两个代码搜索数据集上进行了评估,BseCS在两数据集上平均倒数排名分别达到0.561/0.667,较最佳基线模型提升9.14%/19.96%. 展开更多

关键词 代码搜索 协同注意力机制 双向语义扩充 代码表征

在线阅读 下载PDF 职称材料

融合多特征及协同注意力的医学命名实体识别 被引量：4

2

作者 刘歆宁 《计算机工程与应用》 CSCD 北大核心 2024年第6期188-198,共11页

针对当前中文医疗命名实体识别中未融合医学领域文本独有的特征信息导致实体识别准确率无法有效提升的情况,及单注意力机制影响实体分类效果的问题,提出一种基于多特征融合和协同注意力机制的中文医疗命名实体识别方法。利用预训练模型... 针对当前中文医疗命名实体识别中未融合医学领域文本独有的特征信息导致实体识别准确率无法有效提升的情况,及单注意力机制影响实体分类效果的问题,提出一种基于多特征融合和协同注意力机制的中文医疗命名实体识别方法。利用预训练模型得到原始医学文本的向量表示,再利用双向门控循环神经网络(BiGRU)获取字粒度的特征向量。结合医疗领域命名实体鲜明的部首特征,利用迭代膨胀卷积神经网络(IDCNN)提取部首级别的特征向量。使用协同注意力网络(co-attention network)整合特征向量,生成<文字-部首>对的双相关特征,再利用条件随机场(CRF)输出实体识别结果。实验结果表明,在CCKS数据集上,相较于其他的实体识别模型能取得更高的准确率、召回率和F1值,同时虽然增加了识别模型的复杂程度,但性能并没有明显的降低。 展开更多

关键词 中文医学文本 命名实体识别 多特征融合 协同注意力机制 BERT模型

在线阅读 下载PDF 职称材料

卷积协同注意力模型下的作物幼苗与杂草识别

3

作者 闫可 张聪 +2 位作者 陈新波 成泞伸 魏志慧 《江苏农业科学》 北大核心 2024年第13期188-196,共9页

在农作物的杂草防治中,部分杂草与作物幼苗的形态相似且颜色相近,导致杂草不易被快速准确识别。针对田间作物幼苗与杂草识别精度不高的问题,提出了一种卷积协同注意力模型(CCA-ViT)。该模型以视觉Transformer模型为基础,采用跨尺度金字... 在农作物的杂草防治中,部分杂草与作物幼苗的形态相似且颜色相近,导致杂草不易被快速准确识别。针对田间作物幼苗与杂草识别精度不高的问题,提出了一种卷积协同注意力模型(CCA-ViT)。该模型以视觉Transformer模型为基础,采用跨尺度金字塔架构,加强图像浅层信息与深层语义的交互。为提高相似作物与杂草的特征判别能力,在特征提取网络中构建了卷积协同注意力机制,优先关注叶片的纹理和边缘细小特征,获取局部信息注意力权重后协同全局特征进行建模。并在全局建模前引入可移动位置编码捕获感受野的同时降低模型的复杂度。将该模型用于识别小麦、玉米等6种作物幼苗与雀麦、猪殃殃等6种杂草上,识别准确率比同类规模的视觉Transformer模型提高了1.91百分点,达到了97.81%。同时该模型用于田间小麦和玉米幼苗的实际预测准确率也能达到80%以上。体现出该模型可用于复杂背景下具有纹理细小特征的作物幼苗与杂草的识别,能够对形态相似、颜色相近的作物幼苗与杂草进行有效区分。 展开更多

关键词 作物幼苗与杂草识别 跨尺度金字塔架构 卷积协同注意力机制 可移动位置编码 Transformer模型

在线阅读 下载PDF 职称材料

基于协同注意力和自适应调整的阅读理解模型 被引量：5

4

作者 曹卫东 李宏伟 王怀超 《计算机工程与设计》 北大核心 2020年第12期3525-3531,共7页

为解决机器阅读理解模型中存在语义向量表示不准确、信息冗余、长距离依赖等问题,提出一种基于协同注意力和自适应调整的阅读理解模型。基于余弦相似度计算问题与文档的相似度权重,根据相似度权重自适应调整文档的词嵌入,解决信息冗余问... 为解决机器阅读理解模型中存在语义向量表示不准确、信息冗余、长距离依赖等问题,提出一种基于协同注意力和自适应调整的阅读理解模型。基于余弦相似度计算问题与文档的相似度权重,根据相似度权重自适应调整文档的词嵌入,解决信息冗余问题;引入协同注意力机制,捕获文档和问题的交互信息,生成感知向量;利用自注意力机制学习文本内部的依赖关系,增强问题和文档的语义向量表示,解决长距离依赖问题,提升模型性能。实验结果表明,该模型在精确匹配和模糊匹配指标上均得到提升。 展开更多

关键词 机器阅读理解 循环神经网络 协同注意力机制 自适应调整 答案预测

在线阅读 下载PDF 职称材料

面向跨模态检索的协同注意力网络模型 被引量：12

5

作者 邓一姣 张凤荔 +2 位作者 陈学勤 艾擎 余苏喆 《计算机科学》 CSCD 北大核心 2020年第4期54-59,共6页

随着图像、文本、声音、视频等多模态网络数据的急剧增长,人们对多样化的检索需求日益强烈,其中的跨模态检索受到广泛关注。然而,由于其存在异构性差异,在不同的数据模态之间寻找内容相似性仍然具有挑战性。现有方法大都将异构数据通过... 随着图像、文本、声音、视频等多模态网络数据的急剧增长,人们对多样化的检索需求日益强烈,其中的跨模态检索受到广泛关注。然而,由于其存在异构性差异,在不同的数据模态之间寻找内容相似性仍然具有挑战性。现有方法大都将异构数据通过映射矩阵或深度模型投射到公共子空间,来挖掘成对的关联关系,即图像和文本的全局信息对应关系,而忽略了数据内局部的上下文信息和数据间细粒度的交互信息,无法充分挖掘跨模态关联。为此,文中提出文本-图像协同注意力网络模型(CoAN),通过选择性地关注多模态数据的关键信息部分来增强内容相似性的度量。CoAN利用预训练的VGGNet模型和循环神经网络深层次地提取图像和文本的细粒度特征,利用文本-视觉注意力机制捕捉语言和视觉之间的细微交互作用;同时,该模型分别学习文本和图像的哈希表示,利用哈希方法的低存储特性和计算的高效性来提高检索速度。在实验得出,在两个广泛使用的跨模态数据集上,CoAN的平均准确率均值(mAP)超过所有对比方法,文本检索图像和图像检索文本的mAP值分别达到0.807和0.769。实验结果说明,CoAN有助于检测多模态数据的关键信息区域和数据间细粒度的交互信息,充分挖掘跨模态数据的内容相似性,提高检索精度。 展开更多

关键词 跨模态检索 协同注意力机制 细粒度特征提取 深度哈希 多模态数据

在线阅读 下载PDF 职称材料

基于注意力机制的多模态在线评论有用性预测研究 被引量：1

6

作者 张逸安 杨颖 +1 位作者 任刚 王刚 《计算机科学》 CSCD 北大核心 2023年第8期37-44,共8页

在电子商务时代,在线评论被视为一类重要的商品评价,深刻影响着消费者的决策过程。但是指数级增长的评论数量和非结构化的评论数据给评论有用性预测模型的特征选择和精确度提升带来了挑战。此外,目前的研究主要集中于浅层特征和评论文... 在电子商务时代,在线评论被视为一类重要的商品评价,深刻影响着消费者的决策过程。但是指数级增长的评论数量和非结构化的评论数据给评论有用性预测模型的特征选择和精确度提升带来了挑战。此外,目前的研究主要集中于浅层特征和评论文本的特征提取,往往忽略了评论照片所包含的图像信息,同时评论文本、照片、浅层特征这些多模态的信息需要应用多模态融合方法进行信息的提炼融合。基于此,文中将评论照片和评论文本作为影响在线评论有用性的潜在特征,并根据KAM知识采纳理论设计浅层特征集合。对于3种模态的数据,提出了一种基于协同注意力机制的三模态评论有用性预测模型(TMCAM),用于实现跨模态信息的交互和融合。实验结果检验了TMCAM模型的优越性能,证明了图像和文本信息的互补能够达到比单一模态信息更好的效果;浅层特征能够辅助预测评论有用性;相比简单的模态特征拼接,利用协同注意力机制进行跨模态信息交互有助于提升对评论有用性的感知。 展开更多

关键词 评论有用性 协同注意力机制 多模态融合 自然语言处理 深度学习

在线阅读 下载PDF 职称材料

基于多层注意力机制的中文文本蕴涵识别方法 被引量：1

7

作者 严明 刘茂福 胡慧君 《计算机工程与设计》 北大核心 2020年第8期2289-2295,共7页

为解决文本蕴涵中无法同时捕捉句间交互信息和全局信息的问题,提出一种基于多层注意力机制的中文文本蕴涵识别方法。使用Bi-LSTM分别对句子进行编码,采用自注意力和协同注意力分别得到句子的全局信息和句子间的交互信息,经过全连接层进... 为解决文本蕴涵中无法同时捕捉句间交互信息和全局信息的问题,提出一种基于多层注意力机制的中文文本蕴涵识别方法。使用Bi-LSTM分别对句子进行编码,采用自注意力和协同注意力分别得到句子的全局信息和句子间的交互信息,经过全连接层进行分类得到识别结果。在CNLI数据集上文本蕴涵识别准确率达到了73.88%,在NTCIR-9的RITE数据集上达到了67.63%,实验结果表明,该方法在中文文本蕴涵识别任务中是有效的。 展开更多

关键词 文本蕴涵 自注意力机制 协同注意力机制 双向长短时记忆神经网络 自然语言处理

在线阅读 下载PDF 职称材料

基于听觉调制孪生网络的单通道语音分离模型

8

作者 宋源 陈锌 +3 位作者 李亚荣 李永伟 刘扬 赵振 《计算机应用》 北大核心 2025年第6期2025-2033,共9页

为了解决基于语谱图特征输入的单通道语音分离方法存在的不同说话人时频点重叠导致分离效果欠佳的问题,提出一种基于听觉调制孪生网络的单通道语音分离模型。首先,通过频带划分和包络检波计算调制信号,进而利用傅里叶变换提取调制幅度谱... 为了解决基于语谱图特征输入的单通道语音分离方法存在的不同说话人时频点重叠导致分离效果欠佳的问题,提出一种基于听觉调制孪生网络的单通道语音分离模型。首先,通过频带划分和包络检波计算调制信号,进而利用傅里叶变换提取调制幅度谱;其次,基于突变点检测和匹配的方法获取调制幅度谱特征与语音片段之间的映射关系,实现语音片段的有效划分;再次,设计融合协同注意力机制的孪生神经网络(FCMSNN)提取不同说话人语音片段的鉴别性特征;继次,提出基于邻域机制的自组织映射(N-SOM)网络,通过划定动态邻域范围实现无需预先指定说话人数量的特征聚类,以获得不同说话人的掩膜矩阵;最后,为了避免在调制域重构信号中产生伪影,设计时域滤波器将调制域掩膜转换为时域掩膜并结合相位信息重构语音信号。实验结果表明,所提模型在WSJ0-2mix和WSJ0-3mix数据集上的语音质量感知评价(PESQ)、信号失真比改进(SDRi)和尺度不变信号失真比改进(SI-SDRi)均优于双密度双树复小波变换(DDDTCWT)方法,分别提高了3.47%、6.91%和7.79%和3.08%、6.71%、7.51%。 展开更多

关键词 语音分离 调制机制 孪生网络 协同注意力机制 自组织映射网络

在线阅读 下载PDF 职称材料

融合多特征和句法引导的中文命名实体识别

9

作者 李莉 奚雪峰 +2 位作者 盛胜利 崔志明 周悦尧 《计算机工程与设计》 北大核心 2024年第11期3448-3456,共9页

针对基于字符的中文命名实体识别模型中所存在一词多义和实体边界潜在词歧义的问题,提出一种融合多层语义特征和句法依存引导的中文NER模型。将句法依存引导的注意力机制与双向长短期记忆网络(BiLSTM)结合,获得字特征向量。通过迭代卷... 针对基于字符的中文命名实体识别模型中所存在一词多义和实体边界潜在词歧义的问题,提出一种融合多层语义特征和句法依存引导的中文NER模型。将句法依存引导的注意力机制与双向长短期记忆网络(BiLSTM)结合,获得字特征向量。通过迭代卷积神经网络(IDCNN)提取汉字独有特征:部首与拼音。采用协同注意力机制对句法依存引导的多种向量进行特征融合。使用CRF层来获得最佳标记序列。在多个公开数据集上的实验结果表明了模型的有效性。 展开更多

关键词 中文命名实体识别 多特征融合 句法依存树 BERT 协同注意力机制 一词多义 潜在词歧义

在线阅读 下载PDF 职称材料

基于BERT-Attention-DenseBiGRU的农业问答社区问句相似度匹配 被引量：10

10

作者 王郝日钦 王晓敏 +3 位作者 缪祎晟 许童羽 刘志超 吴华瑞 《农业机械学报》 EI CAS CSCD 北大核心 2022年第1期244-252,共9页

为了解决问答社区中相同语义问句文本的快速自动检测,提出一种基于BERT的Attention-DenseBiGRU农业问句相似度匹配模型。针对农业文本具备的特征,采用12层的中文BERT文本预训练模型对文本数据进行向量化处理,并与Word2Vec、Glove、TF-ID... 为了解决问答社区中相同语义问句文本的快速自动检测,提出一种基于BERT的Attention-DenseBiGRU农业问句相似度匹配模型。针对农业文本具备的特征,采用12层的中文BERT文本预训练模型对文本数据进行向量化处理,并与Word2Vec、Glove、TF-IDF方法进行对比分析,得出BERT方法能够有效地解决农业文本的高维性和稀疏性问题,并且解决多义词在不同语境下具有不同含义的问题。该网络的每一层都使用注意特征的连接信息以及前面所有递归层的隐藏特征,为了缓解由于密集拼接而导致特征向量尺寸不断增大的问题,在模型的最后使用自动编码器进行特征降维。试验结果表明:基于BERT的Attention-DenseBiGRU农业问句相似度匹配模型可以提高文本特征的利用率,减少特征丢失,能够实现快速及准确的农业问句文本相似度匹配,在本文所构建的农业问句相似对数据集上精确率及F1值达到97.2%和97.6%,与其他6种问句相似度匹配模型相比,效果提升明显。 展开更多

关键词 问答社区 农业问句相似度匹配 自然语言处理 密集连接BiGRU 协同注意力机制

在线阅读 下载PDF 职称材料

基于BERTCA的新闻实体与正文语义相关度计算模型 被引量：3

11

作者 向军毅 胡慧君 +1 位作者 刘茂福 毛瑞彬 《中文信息学报》 CSCD 北大核心 2022年第3期109-119,共11页

目前的搜索引擎仍然存在“重形式,轻语义”的问题,无法做到对搜索关键词和文本的深层次语义理解,因此语义检索成为当前搜索引擎中亟需解决的问题。为了提高搜索引擎的语义理解能力,该文提出一种语义相关度的计算方法。首先,标注了金融... 目前的搜索引擎仍然存在“重形式,轻语义”的问题,无法做到对搜索关键词和文本的深层次语义理解,因此语义检索成为当前搜索引擎中亟需解决的问题。为了提高搜索引擎的语义理解能力,该文提出一种语义相关度的计算方法。首先,标注了金融类新闻标题实体与新闻正文语义相关度语料1万条,然后建立新闻实体与正文语义相关度计算的BERTCA(Bidirectional Encoder Representation from Transformers Co-Attention)模型,通过使用BERT预训练模型,综合考虑细粒度的实体和粗粒度的正文的语义信息,然后经过协同注意力,实现实体与正文的语义匹配,不仅能计算出金融新闻实体与新闻正文之间的相关度,还能根据相关度阈值来判定相关度类别,实验表明该模型在1万条标注语料上准确率超过95%,优于目前主流模型,最后通过具体搜索示例展示了该模型的优秀性能。 展开更多

关键词 语义相关度计算 BERT模型 协同注意力机制

在线阅读 下载PDF 职称材料

基于多重相关信息交互的文本相似度计算方法 被引量：3

12

作者 袁野 廖薇 《计算机工程与科学》 CSCD 北大核心 2022年第7期1313-1320,共8页

文本相似度计算是自然语言处理的核心任务之一,传统的文本相似度计算方法只考虑文本的结构或者语义等单方面特征,缺少对文本多特征的深度分析,导致性能较低。提出一种基于多重相关信息交互的文本相似度计算方法,在文本嵌入矩阵中增加余... 文本相似度计算是自然语言处理的核心任务之一,传统的文本相似度计算方法只考虑文本的结构或者语义等单方面特征,缺少对文本多特征的深度分析,导致性能较低。提出一种基于多重相关信息交互的文本相似度计算方法,在文本嵌入矩阵中增加余弦相关性特征,使用自注意力机制考虑文本自身的相关性和词语依赖关系,进而使用交替协同注意力机制提取文本之间的语义交互信息,从不同角度获得更深层、更丰富的文本表征。实验结果表明,所提方法在2个数据集上的F1值分别为0.9161和0.7695,其性能优于基准方法的。 展开更多

关键词 文本相似度 信息交互 双向长短时记忆 自注意力机制 协同注意力机制

在线阅读 下载PDF 职称材料

文档增强型知识库问答

13

作者 冯程程 刘派 +2 位作者 姜琳颖 梅笑寒 郭贵冰 《计算机科学》 CSCD 北大核心 2023年第3期266-275,共10页

近年来,知识库(Knowledge Base,KB)被广泛应用于问答(Question Answering,QA)任务中。给定自然语言问题,利用知识库为给定问题提供正确答案,被称为KBQA问题。然而,知识库本身可能是不完整的(例如,KB不包含问题的答案或问题中的一些实体... 近年来,知识库(Knowledge Base,KB)被广泛应用于问答(Question Answering,QA)任务中。给定自然语言问题,利用知识库为给定问题提供正确答案,被称为KBQA问题。然而,知识库本身可能是不完整的(例如,KB不包含问题的答案或问题中的一些实体和关系),这限制了现有KBQA模型的总体性能。为了解决这个问题,文中提出了一个新的模型,利用文本语料库信息提供额外信息来增强知识库覆盖率和背景信息以增强问题的表示。具体来说,该模型由3个模块组成,即实体和问题表征模块、文档和问题增强表征模块以及答案预测模块。实体和问题表征模块从检索到的知识库子图中学习实体的表示,然后通过融合种子实体信息更新问题表示;文档和问题增强表征模块尝试学习与给定问题相关文档的正确表示,然后通过融合文档信息进一步改进问题表示;最后,答案预测模块根据知识库实体表征、文档表征和更新的问题表征进行答案预测。利用所提方法在WebQuestionsSP数据集上进行了大量的实验,结果表明,与其他方法相比,所提方法可以获得更高的准确性。 展开更多

关键词 知识库问答 协同注意力机制 端到端 神经网络 融合门控函数

在线阅读 下载PDF 职称材料

基于多模态学习的试题知识点分类方法

14

作者 李洋洋 谭曦 +3 位作者 陈艳平 唐瑞雪 唐向红 林川 《中文信息学报》 CSCD 北大核心 2023年第7期143-151,共9页

试题知识点分类是智慧教育中的一个核心技术支撑。传统试题知识点分类方法往往忽略了试题图片与试题文本之间的深层语义关联。针对上述问题,该文提出了一种基于多模态学习的试题知识点分类方法。该方法鉴于不同模态的试题特征之间存在... 试题知识点分类是智慧教育中的一个核心技术支撑。传统试题知识点分类方法往往忽略了试题图片与试题文本之间的深层语义关联。针对上述问题,该文提出了一种基于多模态学习的试题知识点分类方法。该方法鉴于不同模态的试题特征之间存在互补关系,采用协同注意力机制(Co-attention)分别获取试题文本引导的试题图片特征和试题图片引导的试题文本特征;然后通过门控机制动态地对两者的特征进行融合表示,以获取更丰富的试题语义信息。实验结果表明,在某教育机构提供的物理试题数据集上,一级知识点和二级知识点的分类准确率可以分别达到95.09%和83.18%,Macro-F1值可以分别达到64.20%和50.63%。通过分析发现,多模态学习能有效弥补小样本试题知识点分类中的特征稀疏问题。因此,该方法可有效支撑智慧教育中的试题知识点分类。 展开更多

关键词 知识点分类 文本卷积神经网络 多模态融合 协同注意力机制

在线阅读 下载PDF 职称材料