基于编码器-解码器架构的藏医药文本实体关系联合抽取

1

作者 高兴 拥措 《高原科学研究》 CSCD 2024年第4期115-128,共14页

在藏医药领域,准确提取医学文本中的医学实体及其关系并结构化为三元组,对于构建藏医药知识图谱具有重要意义。然而,现有方法主要依赖通用预训练模型处理藏医药文本,这些模型未能充分覆盖藏医药领域的专业术语,且在泛化性和鲁棒性方面... 在藏医药领域,准确提取医学文本中的医学实体及其关系并结构化为三元组,对于构建藏医药知识图谱具有重要意义。然而,现有方法主要依赖通用预训练模型处理藏医药文本,这些模型未能充分覆盖藏医药领域的专业术语,且在泛化性和鲁棒性方面存在不足。为此,文章提出了一种新型模型,该模型基于编码器-解码器架构,并融合了指针机制。在编码阶段,BERT和GloVe被用于生成丰富的嵌入表示,这些表示经过融合,增强了模型对医学领域文本的理解力;在解码阶段,通过将Transformer解码器和指针机制结合,模型直接生成与实体和关系相关的结构化信息。此外,文章通过引入“相似跨度”的概念和相应的惩罚性训练策略,进一步增强了模型识别实体的能力。通过在CMeIE-V2和藏医药数据集TibetanAI_TMDisRE_v1.0上进行广泛实验,并与基线模型进行对比,验证了文章模型的卓越性能和鲁棒性。 展开更多

关键词 编码器-解码器架构 指针机制 藏医药文本 实体关系联合抽取

在线阅读 下载PDF 职称材料

基于多阶门控聚合网络的光学化学结构识别

2

作者 林帆 李建华 《计算机工程》 北大核心 2025年第8期364-372,共9页

在光学化学结构识别(OCSR)领域,现有基于深度学习的模型通常依赖于卷积神经网络(CNN)或视觉Transformer进行视觉特征提取,并采用Transformer进行序列解码。这些模型虽然有效,但仍受限于图像特征提取能力和解码时位置编码的精确性,从而... 在光学化学结构识别(OCSR)领域,现有基于深度学习的模型通常依赖于卷积神经网络(CNN)或视觉Transformer进行视觉特征提取,并采用Transformer进行序列解码。这些模型虽然有效,但仍受限于图像特征提取能力和解码时位置编码的精确性,从而影响识别效率。针对这些限制,将多阶门控聚合网络(MogaNet)和引入相对位置编码的Transformer构成的编码解码架构用于OCSR领域,提出一种基于多阶门控聚合网络的光学化学结构识别模型。该模型首先在图像特征提取时通过MogaNet空间聚合模块,捕获多尺度特征并减少特征冗余,并且通过MogaNet通道聚合模块改善通道维度的多样性;其次在序列解码时采用引入相对位置编码的Transformer作为解码器,精准捕捉序列单词之间的相对位置关系。为了训练和验证该模型,构建一个包含40万个分子的化学结构数据集,其中包含Markush结构与非Markush结构。实验结果表明,该模型的准确率达到了92.36%,优于其他现有的模型。 展开更多

关键词 光学化学结构识别 编码解码架构 深度学习 SMILES表达式 多阶门控聚合网络

在线阅读 下载PDF 职称材料

基于分段注意力机制的时间序列预测模型

3

作者 王慧斌 胡展傲 +2 位作者 胡节 徐袁伟 文博 《计算机应用》 北大核心 2025年第7期2262-2268,共7页

针对时间序列分段后存在因采样间隔增大而导致的长期预测过程中局部依赖关系丢失的情况,提出一种基于分段注意力机制的时间序列预测模型(SAMformer)。首先,显式地将时间静态协变量与原始数据按比例融合,以增强数据的时域信息表征能力;其... 针对时间序列分段后存在因采样间隔增大而导致的长期预测过程中局部依赖关系丢失的情况,提出一种基于分段注意力机制的时间序列预测模型(SAMformer)。首先,显式地将时间静态协变量与原始数据按比例融合,以增强数据的时域信息表征能力;其次,同时引入两个连续的带偏置的线性层和一个激活函数来微调融合数据,从而提高模型对非线性数据的拟合能力;然后,在分段序列的每个段内引入点积注意力机制,以便捕获局部特征依赖关系;最后,利用跨尺度依赖的编码器-解码器架构预测时序数据。所提模型在公开的5个时间序列数据集上的实验结果表明,相较于Crossformer、 Pyraformer和Informer等其他监督学习时序预测模型,SAMformer的均方误差(MSE)和平均绝对误差(MAE)分别降低了2.0%~62.0%和0.9%~49.8%。此外,通过消融实验验证了所提不同组件的完备性和有效性,进一步说明了融合时域信息和段内注意力机制有助于提高时间序列预测的精度。 展开更多

关键词 深度神经网络 时间序列预测 时域信息融合 编码器-解码器架构 注意力机制

在线阅读 下载PDF 职称材料

融合渐进式去雨网络的军用车辆检测算法

4

作者 苏胜君 仝秋红 +3 位作者 柴国庆 苏海东 王凯 胡待方 《现代电子技术》 北大核心 2025年第5期127-134,共8页

针对雨天场景下检测军用车辆目标时出现的精度退化问题,提出一种将渐进式去雨算法与高精确率检测器相融合的军用车辆检测方法。首先设计了一个图像去雨算法HISPNet,其包括轻量级高效雨纹特征提取模块和跨子网雨纹特征融合模块,捕获雨纹... 针对雨天场景下检测军用车辆目标时出现的精度退化问题,提出一种将渐进式去雨算法与高精确率检测器相融合的军用车辆检测方法。首先设计了一个图像去雨算法HISPNet,其包括轻量级高效雨纹特征提取模块和跨子网雨纹特征融合模块,捕获雨纹信息的同时缓解卷积过程中的细节特征丢失问题;其次引入SPPFCSPC模块改进了单阶段检测器,保证检测器感受野的同时提高了效率,增强了检测模型的表达能力。自建数据集中的实验结果表明,雨天场景下,相较于经典检测算法YOLOv7,所提算法的mAP@0.5、mAP@0.5:0.95分别提升了4.4%、2.8%,算法检测速度达到21.05 f/s,基本满足检测实时性要求,证明了所提算法的有效性与实用性。 展开更多

关键词 图像去雨 编码器-解码器架构 轻量级高效雨纹特征提取模块 跨子网雨纹特征融合模块 SPPFCSPC模块 军用车辆检测

在线阅读 下载PDF 职称材料

ED-NAS:基于神经网络架构搜索的陶瓷晶粒SEM图像分割方法 被引量：8

5

作者 蔡超丽 李纯纯 +1 位作者 黄琳 杨铁军 《电子学报》 EI CAS CSCD 北大核心 2022年第2期461-469,共9页

为了提高深度卷积神经网络(Convolutional Neural Network,CNN)设计的自动化程度并进一步提高陶瓷晶粒扫描电子显微镜(Scanning Electron Microscope,SEM)图像分割的准确性,提出了一种基于神经网络架构搜索的陶瓷晶粒图像分割方法 .该... 为了提高深度卷积神经网络(Convolutional Neural Network,CNN)设计的自动化程度并进一步提高陶瓷晶粒扫描电子显微镜(Scanning Electron Microscope,SEM)图像分割的准确性,提出了一种基于神经网络架构搜索的陶瓷晶粒图像分割方法 .该方法设计多分支结构编码空间和链式结构解码空间,并构造多分支结构编码Cell和链式结构解码Cell;同时基于强化学习分别搜索最佳编码Cell和解码Cell;此外,基于编码-解码神经网络架构堆叠最佳Cell构建陶瓷晶粒图像分割CNN,并采用池化索引在解码阶段恢复丢失的细节信息.实验在包含了629张的陶瓷晶粒SEM图像数据集上进行,搜索最佳Cell耗时约148 GPU-时.与U-Net、SegNet等SOTA方法相比,该方法在陶瓷晶粒测试集上获得了更高的分割准确性(mIoU≈68.9%). 展开更多

关键词 神经网络架构搜索 编码-解码神经网络架构 陶瓷晶粒 图像分割 编码Cell 解码Cell

在线阅读 下载PDF 职称材料

神经机器翻译前沿进展 被引量：115

6

作者 刘洋 《计算机研究与发展》 EI CSCD 北大核心 2017年第6期1144-1149,共6页

机器翻译研究如何利用计算机实现自然语言之间的自动翻译,是人工智能和自然语言处理领域的重要研究方向之一.近年来,基于深度学习的神经机器翻译方法获得迅速发展,目前已取代传统的统计机器翻译成为学术界和工业界新的主流方法.首先介... 机器翻译研究如何利用计算机实现自然语言之间的自动翻译,是人工智能和自然语言处理领域的重要研究方向之一.近年来,基于深度学习的神经机器翻译方法获得迅速发展,目前已取代传统的统计机器翻译成为学术界和工业界新的主流方法.首先介绍神经机器翻译的基本思想和主要方法,然后对最新的前沿进展进行综述,最后对神经机器翻译的未来发展方向进行展望. 展开更多

关键词 人工智能 深度学习 神经机器翻译 编码器-解码器架构 注意力机制

在线阅读 下载PDF 职称材料

基于双注意模型的图像描述生成方法研究 被引量：9

7

作者 卓亚琦 魏家辉 李志欣 《电子学报》 EI CAS CSCD 北大核心 2022年第5期1123-1130,共8页

现有图像描述生成方法的注意模型通常采用单词级注意,从图像中提取局部特征作为生成当前单词的视觉信息输入,缺乏准确的图像全局信息指导.针对这个问题,提出基于语句级注意的图像描述生成方法,通过自注意机制从图像中提取语句级的注意信... 现有图像描述生成方法的注意模型通常采用单词级注意,从图像中提取局部特征作为生成当前单词的视觉信息输入,缺乏准确的图像全局信息指导.针对这个问题,提出基于语句级注意的图像描述生成方法,通过自注意机制从图像中提取语句级的注意信息,来表示生成语句所需的图像全局信息.在此基础上,结合语句级注意和单词级注意进一步提出了双注意模型,以此来生成更准确的图像描述.通过在模型的中间阶段实施监督和优化,以解决信息间的干扰问题.此外,将强化学习应用于两阶段的训练来优化模型的评估度量.通过在MSCOCO和Flickr30K两个基准数据集上的实验评估,结果表明本文提出的方法能够生成更加准确和丰富的描述语句,并且在各项评价指标上优于现有的多种基于注意机制的方法. 展开更多

关键词 图像描述生成 编码器-解码器架构 单词级注意 语句级注意 双注意模型 强化学习

在线阅读 下载PDF 职称材料

图像描述生成研究进展 被引量：8

8

作者 李志欣 魏海洋 +2 位作者 张灿龙 马慧芳 史忠植 《计算机研究与发展》 EI CSCD 北大核心 2021年第9期1951-1974,共24页

图像描述生成结合了计算机视觉和自然语言处理2个研究领域,不仅要求完备的图像语义理解,还要求复杂的自然语言表达,是进一步研究符合人类感知的视觉智能的关键任务.对图像描述生成的研究进展做了回顾.首先,归纳分析了当前基于深度学习... 图像描述生成结合了计算机视觉和自然语言处理2个研究领域,不仅要求完备的图像语义理解,还要求复杂的自然语言表达,是进一步研究符合人类感知的视觉智能的关键任务.对图像描述生成的研究进展做了回顾.首先,归纳分析了当前基于深度学习的图像描述生成方法涉及的5个关键技术,包括整体架构、学习策略、特征映射、语言模型和注意机制.然后,按照发展进程将现有的图像描述生成方法分为四大类,即基于模板的方法、基于检索的方法、基于编码器-解码器架构的方法和基于复合架构的方法,并阐述了各类方法的基本概念、代表性方法和研究现状,重点讨论了基于编码器-解码器架构的各种方法及其创新思路,如多模态空间、视觉空间、语义空间、注意机制、模型优化等.接着,从实验的角度给出图像描述生成的常用数据集和评估措施,并在2个基准数据集上比较了一些典型方法的性能.最后,以提升图像描述的准确性、完整性、新颖性、多样性为依据,展示了图像描述生成的未来发展趋势. 展开更多

关键词 图像描述生成 编码器-解码器架构 复合架构 注意机制 卷积神经网络 循环神经网络 长短期记忆网络

在线阅读 下载PDF 职称材料

语言结构引导的可解释视频语义描述 被引量：1

9

作者 李冠彬 张锐斐 +2 位作者 刘梦梦 刘劲 林倞 《软件学报》 EI CSCD 北大核心 2023年第12期5905-5920,共16页

视频描述技术旨在为视频自动生成包含丰富内容的文字描述,近年来吸引了广泛的研究兴趣.一个准确而精细的视频描述生成方法,不仅需要对视频有全局上的理解,更离不开具体显著目标的局部空间和时序特征.如何建模一个更优的视频特征表达,一... 视频描述技术旨在为视频自动生成包含丰富内容的文字描述,近年来吸引了广泛的研究兴趣.一个准确而精细的视频描述生成方法,不仅需要对视频有全局上的理解,更离不开具体显著目标的局部空间和时序特征.如何建模一个更优的视频特征表达,一直是视频描述工作的研究重点和难点.另一方面,大多数现有工作都将句子视为一个链状结构,并将视频描述任务视为一个生成单词序列的过程,而忽略了句子的语义结构,这使得算法难以应对和优化复杂的句子描述及长句子中易引起的逻辑错误.为了解决上述问题,提出一种新颖的语言结构引导的可解释视频语义描述生成方法,通过设计一个基于注意力的结构化小管定位机制,充分考虑局部对象信息和句子语义结构.结合句子的语法分析树,所提方法能够自适应地加入具有文本内容的相应时空特征,进一步提升视频描述的生成效果.在主流的视频描述任务基准数据集MSVD和MSR-VTT上的实验结果表明,所提出方法在大多数评价指标上都达到了最先进的水平. 展开更多

关键词 视频描述 编码器-解码器架构 小管 注意力机制 依存分析

在线阅读 下载PDF 职称材料

基于自适应融合和注意力细化的语义分割模型

10

作者 魏赟 罗琦 赵迎志 《系统仿真学报》 CAS CSCD 北大核心 2023年第6期1226-1234,共9页

针对现有语义分割中存在的上下文信息利用不足和细节信息丢失等问题,提出了一种基于自适应融合和注意力细化的语义分割模型。该模型在编码的过程中引入一个自适应融合模块,通过让每个特征图按照相应的权重进行融合的方式来解决上下文信... 针对现有语义分割中存在的上下文信息利用不足和细节信息丢失等问题,提出了一种基于自适应融合和注意力细化的语义分割模型。该模型在编码的过程中引入一个自适应融合模块,通过让每个特征图按照相应的权重进行融合的方式来解决上下文信息利用不足的问题。在解码的过程中设计了一个注意力细化模块,使低阶特征与高阶特征之间能够进行相互指导优化,从而解决细节信息丢失的问题。实验结果表明:该模型在PASCAL VOC 2012数据集上的平均交并比达到了83.7%,比基于编解码的语义分割模型提高了1.1%;在Cityscapes数据集上取得了81.7%的平均交并比,进一步验证了该模型的泛化性。 展开更多

关键词 语义分割 金字塔池化 注意力机制 自适应融合 编码-解码架构

在线阅读 下载PDF 职称材料

深度神经网络图像描述综述 被引量：14

11

作者 许昊 张凯 +2 位作者 田英杰 种法广 王子超 《计算机工程与应用》 CSCD 北大核心 2021年第9期9-22,共14页

深度学习的迅速发展使得图像描述效果得到显著提升,针对基于深度神经网络的图像描述方法及其研究现状进行详细综述。图像描述算法结合计算机视觉和自然语言处理的知识,根据图像中检测到的内容自动生成自然语言描述,是场景理解的重要部... 深度学习的迅速发展使得图像描述效果得到显著提升,针对基于深度神经网络的图像描述方法及其研究现状进行详细综述。图像描述算法结合计算机视觉和自然语言处理的知识,根据图像中检测到的内容自动生成自然语言描述,是场景理解的重要部分。图像描述任务中,一般采用由编码器和解码器组成的基本架构。改进编码器或解码器,应用生成对抗网络、强化学习、无监督学习以及图卷积神经网络等方法能有效提高图像描述算法的性能。对每类方法的代表模型算法的效果以及优缺点进行分析,并介绍适用的公开数据集,在此基础上进行对比实验。对图像描述面临的挑战以及未来工作的发展方向做出展望。 展开更多

关键词 深度神经网络 计算机视觉 图像描述 编码器-解码器架构 注意力机制

在线阅读 下载PDF 职称材料

基于层次化结构表示的数据到文本生成方法 被引量：1

12

作者 龚永罡 郭怡星 +3 位作者 廉小亲 马虢春 王希 刘宏宇 《计算机应用研究》 CSCD 北大核心 2023年第8期2399-2403,共5页

最近的数据到文本生成方法广泛采用了编码器—解码器架构或其变体,但是这些方法无法识别数据中不同部分的信息的重要性,导致在选择适当的内容和排序方面表现不佳。针对这些问题,提出了一个基于层次化结构表示的数据到文本生成方法,它包... 最近的数据到文本生成方法广泛采用了编码器—解码器架构或其变体,但是这些方法无法识别数据中不同部分的信息的重要性,导致在选择适当的内容和排序方面表现不佳。针对这些问题,提出了一个基于层次化结构表示的数据到文本生成方法,它包括规划阶段和生成阶段,规划阶段通过实体级、记录级的多层次注意力来增强语义空间的表达能力,输出的计划代表重要内容的高层次表示,同时将计划输入给生成阶段的生成器得到最终的文本。通过在两个数据到文本生成的数据集上进行的广泛实验表明,该方法相比于已有的数据到文本生成方法,生成的文本对数据的描述更加准确,质量更高,该方法的提出为数据到文本生成的研究提供了一定的指导性作用。 展开更多

关键词 数据到文本生成 多层次注意力 层次化结构表示 编码器—解码器架构

在线阅读 下载PDF 职称材料

融合文本分类的多任务学习摘要模型 被引量：3

13

作者 周伟枭 蓝雯飞 《计算机工程》 CAS CSCD 北大核心 2021年第4期48-55,共8页

应包含源文本中所有重要信息,传统基于编码器-解码器架构的摘要模型生成的摘要准确性较低。根据文本分类和文本摘要的相关性,提出一种多任务学习摘要模型。从文本分类辅助任务中学习抽象信息改善摘要生成质量,使用K-means聚类算法构建Cl... 应包含源文本中所有重要信息,传统基于编码器-解码器架构的摘要模型生成的摘要准确性较低。根据文本分类和文本摘要的相关性,提出一种多任务学习摘要模型。从文本分类辅助任务中学习抽象信息改善摘要生成质量,使用K-means聚类算法构建Cluster-2、Cluster-10和Cluster-20文本分类数据集训练分类器,并研究不同分类数据集参与训练对摘要模型的性能影响,同时利用基于统计分布的判别法全面评价摘要准确性。在CNNDM测试集上的实验结果表明,该模型在ROUGE-1、ROUGE-2和ROUGE-L指标上相比强基线模型分别提高了0.23、0.17和0.31个百分点,生成摘要的准确性更高。 展开更多

关键词 编码器-解码器架构 文本摘要 文本分类 多任务学习 聚类算法 统计分布

在线阅读 下载PDF 职称材料