期刊文献+
共找到49篇文章
< 1 2 3 >
每页显示 20 50 100
融合RNN与稀疏自注意力的文本摘要方法 被引量:1
1
作者 刘钟 唐宏 +1 位作者 王宁喆 朱传润 《计算机工程》 北大核心 2025年第1期312-320,共9页
随着深度学习的高速发展,基于序列到序列(Seq2Seq)架构的文本摘要方法成为研究焦点,但现有大多数文本摘要模型受限于长期依赖,忽略了注意力机制复杂度以及词序信息对文本摘要生成的影响,生成的摘要丢失关键信息,偏离原文内容与意图,影... 随着深度学习的高速发展,基于序列到序列(Seq2Seq)架构的文本摘要方法成为研究焦点,但现有大多数文本摘要模型受限于长期依赖,忽略了注意力机制复杂度以及词序信息对文本摘要生成的影响,生成的摘要丢失关键信息,偏离原文内容与意图,影响用户体验。为了解决上述问题,提出一种基于Transformer改进的融合递归神经网络(RNN)与稀疏自注意力的文本摘要方法。首先采用窗口RNN模块,将输入文本按窗口划分,每个RNN对窗口内词序信息进行压缩,并通过窗口级别的表示整合为整个文本的表示,进而增强模型捕获局部依赖的能力;其次采用基于递归循环机制的缓存模块,循环缓存上一文本片段的信息到当前片段,允许模型更好地捕获长期依赖和全局信息;最后采用稀疏自注意力模块,通过块稀疏矩阵对注意力矩阵按块划分,关注并筛选出重要令牌对,而不是在所有令牌对上平均分配注意力,从而降低注意力的时间复杂度,提高长文本摘要任务的效率。实验结果表明,该方法在数据集text8、enwik8上的BPC分数相比于LoBART模型降低了0.02,在数据集wikitext-103以及ptb上的PPL分数相比于LoBART模型分别降低了1.0以上,验证了该方法的可行性与有效性。 展开更多
关键词 序列到序列架构 文本摘要 Transformer模型 递归神经网络 递归循环机制 稀疏自注意力机制
在线阅读 下载PDF
基于改进Seq2Seq的船舶轨迹预测模型
2
作者 唐家乐 段兴锋 姚鹏 《上海海事大学学报》 北大核心 2025年第2期18-22,共5页
针对传统循环神经网络(recurrent neural network,RNN)模型收敛速度慢、精度低,导致海上船舶预测轨迹与真实轨迹之间差别较大的问题,构建由RNN组成的Seq2Seq(sequence to sequence)模型。引入注意力机制和卷积神经网络(convolutional ne... 针对传统循环神经网络(recurrent neural network,RNN)模型收敛速度慢、精度低,导致海上船舶预测轨迹与真实轨迹之间差别较大的问题,构建由RNN组成的Seq2Seq(sequence to sequence)模型。引入注意力机制和卷积神经网络(convolutional neural network,CNN)对模型进行改进,加强对数据特征的提取能力,加快模型收敛速度并提高轨迹预测精度。实验结果显示:与传统RNN模型相比,Seq2Seq模型的均方误差、均方根误差和平均绝对误差分别降低81.41%、12.67%和62.43%;与Seq2Seq模型相比,改进Seq2Seq模型的均方误差、均方根误差和平均绝对误差分别降低42.87%、69.27%和45.79%。 展开更多
关键词 船舶轨迹预测 Seq2Seq(sequence to sequence) 注意力机制 卷积神经网络(CNN) 循环神经网络(RNN)
在线阅读 下载PDF
变分资格迹元强化循环网络用于空间滚动轴承剩余寿命预测 被引量:1
3
作者 姜沛轩 李锋 +1 位作者 汤宝平 汪永超 《计算机集成制造系统》 EI CSCD 北大核心 2024年第6期2159-2171,共13页
针对经典时间循环神经网络(SRNNs)在预测时间序列中存在长时依赖的缺陷,同时由于遍历整个训练数据集进行现有监督式学习增加了时间复杂度,造成SRNNs在预测空间滚动轴承剩余寿命中存在预测精度和计算效率较低的问题,提出一种变分资格迹... 针对经典时间循环神经网络(SRNNs)在预测时间序列中存在长时依赖的缺陷,同时由于遍历整个训练数据集进行现有监督式学习增加了时间复杂度,造成SRNNs在预测空间滚动轴承剩余寿命中存在预测精度和计算效率较低的问题,提出一种变分资格迹元强化循环网络(VETMRRN)。在VETMRRN中,构建新型时间循环网络结构以增大历史信息记忆量,并设计基于神谕门机制的元学习超参数自初始化网络来加速搜索VETMRRN的最优回顾序列长度;设计含有资格迹算子的变分自编码元策略梯度学习算法,以提高对VETMRRN参数的训练速度和全局优化效果。在此基础上提出基于VETMRRN的空间滚动轴承剩余寿命预测方法。首先采用Shapely值特征融合提取空间滚动轴承的性能退化特征;然后将性能退化特征输入VETMRRN中预测性能退化特征趋势;最后建立威布尔分布可靠度模型来预测空间滚动轴承的剩余寿命。该方法具有较高的预测精度、较好的泛化性能和较高的计算效率。最后通过空间滚动轴承剩余寿命预测实例证明了该方法的有效性。 展开更多
关键词 元学习时间循环网络 神谕门机制 元策略梯度 空间滚动轴承 剩余寿命预测
在线阅读 下载PDF
基于忆阻器的门控循环单元电路
4
作者 韩婷婷 张章 陈思锴 《合肥工业大学学报(自然科学版)》 CAS 北大核心 2024年第2期189-194,共6页
时间序列数据分析可用于识别长期趋势并进行正确的预测,与人工神经网络(artificial neural network,ANN)相比,门控循环单元(gated recurrent unit,GRU)可以处理时间序列信号,在自然语言处理、语音识别、机器翻译等方面有着广泛的应用。... 时间序列数据分析可用于识别长期趋势并进行正确的预测,与人工神经网络(artificial neural network,ANN)相比,门控循环单元(gated recurrent unit,GRU)可以处理时间序列信号,在自然语言处理、语音识别、机器翻译等方面有着广泛的应用。然而,由于参数和模型的复杂性,GRU模型在硬件实现中遇到了瓶颈。文章构建一个基于忆阻器的GRU硬件电路,具有完整的GRU功能,而且输入/输出参数更少。仿真结果表明,电路的平均误差为0.0075,能够有效地实现GRU网络的功能。将设计的GRU电路应用在搭建的序列预测模型中,可以预测股票价格变化趋势,且其预测的R2分数达到0.9234。因此基于忆阻器的GRU硬件电路的设计在机器学习和人工智能方面具有一定的应用潜力。 展开更多
关键词 忆阻器 循环神经网络(RNN) 门控循环单元(GRU) 序列预测
在线阅读 下载PDF
基于双向循环神经网络的河流相储层预测方法及应用 被引量:13
5
作者 朱剑兵 王兴谋 +1 位作者 冯德永 隋志强 《石油物探》 EI CSCD 北大核心 2020年第2期250-257,共8页
河流相储层通常具有横向变化快、地震反射特征多解性强的特点,因而河流相储层地震预测难度大。将测井信息与地震多属性相结合实现河流相储层地震预测,传统的方法包括多元线性回归方法、地质统计学方法和BP神经网络等。人工智能深度学习... 河流相储层通常具有横向变化快、地震反射特征多解性强的特点,因而河流相储层地震预测难度大。将测井信息与地震多属性相结合实现河流相储层地震预测,传统的方法包括多元线性回归方法、地质统计学方法和BP神经网络等。人工智能深度学习方法为井震信息的融合提供了新的解决思路。通过构建井震学习样本,提出了一种基于双向循环神经网络的井震融合储层预测方法。从储层沉积连续性角度,将地震数据看成具有纵向联系的时序数据,以CD地区100余口井馆上段地层的储层和非储层为学习样本,构建双向循环神经网络储层预测方法,通过训练优选超参数建立井震融合的深度学习储层预测模型。该预测模型应用于CD地区河流相储层预测的效果显著,细小河道形态清楚,预测精度高,有效指导了CD地区的勘探部署。 展开更多
关键词 循环神经网络 深度学习 样本构建 沉积序列 地震储层预测 沉积约束
在线阅读 下载PDF
结合LSTM和CNN混合架构的深度神经网络语言模型 被引量:19
6
作者 王毅 谢娟 成颖 《情报学报》 CSSCI CSCD 北大核心 2018年第2期194-205,共12页
语言模型是自然语言处理研究中的基础性工作,是计算机识别与理解自然语言的桥梁,是人工智能学科的前沿及热点课题。其在语音识别、机器翻译、信息检索和知识图谱等领域都有着广泛的应用。至今,语言模型已经历了从统计模型、神经网络模... 语言模型是自然语言处理研究中的基础性工作,是计算机识别与理解自然语言的桥梁,是人工智能学科的前沿及热点课题。其在语音识别、机器翻译、信息检索和知识图谱等领域都有着广泛的应用。至今,语言模型已经历了从统计模型、神经网络模型到深度神经网络模型的衍化。随着深度学习技术的广泛应用,采用大规模的数据集、复杂的模型以及高昂的训练代价成为语言模型建模的特点。本文通过模型输入拟人化、卷积神经网络(convolutional neural network)编码以及融合门机制并结合长短时记忆单元(long short-term memory,LSTM)优化了语言模型,提出了结合LSTM和CNN混合架构的深度神经网络语言模型(Gated CLSTM)。利用深度学习框架Tensorflow实现了Gated CLSTM。实验环节还采用了负采样及循环投影层等经典的优化技术,在包含近十亿个英文单词的通用数据集(one billion word benchmark)下测试了模型的性能,分别训练了单层模型和三层模型,以观察网络深度对性能的影响。结果显示,在四个GPU的单机环境下,单层模型经过4天的训练,将模型混淆度(perplexity)降低至42.1;三层模型经过6天的训练后将混淆度降低至33.1;与多个典型的基准模型相比,综合硬件、时间复杂度以及混淆度三个指标,Gated CLSTM获得了明显的改进。 展开更多
关键词 语言模型 循环神经网络 卷积神经网络 字符序列编码
在线阅读 下载PDF
基于循环神经网络的船摇数据实时预测 被引量:7
7
作者 黄为 李永刚 +1 位作者 胡上成 汪毅 《科学技术与工程》 北大核心 2019年第31期222-226,共5页
航天测量船船体姿态数据实时预测具有重要的意义。针对测量船船摇运动建立了基于循环神经网络的预测模型,详细描述了适用于本文模型的船体姿态数据集构建以及预测模型的实现过程。在该模型的基础上,利用实测数据对船体姿态数据进行短时... 航天测量船船体姿态数据实时预测具有重要的意义。针对测量船船摇运动建立了基于循环神经网络的预测模型,详细描述了适用于本文模型的船体姿态数据集构建以及预测模型的实现过程。在该模型的基础上,利用实测数据对船体姿态数据进行短时预测,并将预测结果与滤波方法进行了比较,实验结果验证了算法的有效性。 展开更多
关键词 循环神经网络 门循环单元 时间序列 实时预报
在线阅读 下载PDF
利用时空相关性的多位置多步风速预测模型 被引量:37
8
作者 陈金富 朱乔木 +4 位作者 石东源 李银红 ZHU Lin 段献忠 LIU Yilu 《中国电机工程学报》 EI CSCD 北大核心 2019年第7期2093-2106,共14页
兼顾时、空相关性的风速预测意义重大也极具挑战。围绕多位置、多步风速预测问题展开研究,从风速时空序列的本质出发,提出了一种"先提取空间特征,后捕捉时间依赖"的两阶段建模思路。构造了一个利用时空相关性的风速预测模型... 兼顾时、空相关性的风速预测意义重大也极具挑战。围绕多位置、多步风速预测问题展开研究,从风速时空序列的本质出发,提出了一种"先提取空间特征,后捕捉时间依赖"的两阶段建模思路。构造了一个利用时空相关性的风速预测模型——深层时空网络(deep spatio-temporal network,DSTN)。该模型由卷积神经网络(convolutional neural network, CNN)和双向门控循环单元(bidirectional gated recurrent unit,BGRU)共同构成,并通过"端对端"的方式进行训练,具备"序列到序列"的预测能力。首先,DSTN利用底层的CNN从空间风速矩阵中提取空间特征。然后,利用BGRU捕捉来自连续时间断面的空间特征之间的时间依赖关系,进而实现对时空序列的预测。此外,还定义了针对多位置风速预测的误差指标,用以描述预测模型的总体平均性能和个体误差控制能力。以美国加利福尼亚州某风电场实测数据为算例进行分析,结果表明,DSTN能够有效利用时空相关性进行风速预测,其预测性能优于多种现有预测模型。 展开更多
关键词 深度学习 卷积神经网络 双向门控循环单元 时空相关性 多位置、多步风速预测 “端到端”学习 “序列到序列”预测
在线阅读 下载PDF
基于深度学习的手语识别综述 被引量:25
9
作者 张淑军 张群 李辉 《电子与信息学报》 EI CSCD 北大核心 2020年第4期1021-1032,共12页
手语识别涉及计算机视觉、模式识别、人机交互等领域,具有重要的研究意义与应用价值。深度学习技术的蓬勃发展为更加精准、实时的手语识别带来了新的机遇。该文综述了近年来基于深度学习的手语识别技术,从孤立词与连续语句两个分支展开... 手语识别涉及计算机视觉、模式识别、人机交互等领域,具有重要的研究意义与应用价值。深度学习技术的蓬勃发展为更加精准、实时的手语识别带来了新的机遇。该文综述了近年来基于深度学习的手语识别技术,从孤立词与连续语句两个分支展开详细的算法阐述与分析。孤立词识别技术划分为基于卷积神经网络(CNN)、3维卷积神经网络(3D-CNN)和循环神经网络(RNN) 3种架构的方法;连续语句识别所用模型复杂度更高,通常需要辅助某种长时时序建模算法,按其主体结构分为双向长短时记忆网络模型、3维卷积网络模型和混合模型。归纳总结了目前国内外常用手语数据集,探讨了手语识别技术的研究挑战与发展趋势,高精度前提下的鲁棒性和实用化仍有待于推进。 展开更多
关键词 深度学习 手语识别 卷积网络 循环神经网络 长时序建模
在线阅读 下载PDF
融合时空行为与社交关系的用户轨迹识别模型 被引量:6
10
作者 张伟 李扬 +1 位作者 张吉 王建勇 《计算机学报》 EI CAS CSCD 北大核心 2021年第11期2173-2188,共16页
随着位置社交媒体的流行,用户移动行为数据得到极大丰富,推动了用户轨迹识别问题相关研究.该问题着眼于判定目标轨迹所属用户,有助于理解用户移动模式,促进个性化推荐等下游应用.目前已有方法通常尝试采用多分类方法解决该问题.然而,这... 随着位置社交媒体的流行,用户移动行为数据得到极大丰富,推动了用户轨迹识别问题相关研究.该问题着眼于判定目标轨迹所属用户,有助于理解用户移动模式,促进个性化推荐等下游应用.目前已有方法通常尝试采用多分类方法解决该问题.然而,这些研究仍然面临着两个亟待解决的挑战:用户轨迹稀疏和类别数量庞大.其中,前者产生的原因在于用户常常只在社交媒体中发布部分访问地点信息,并且用户兴趣地点分布具有局部性;后者则是因为多分类方法下每个类别即代表一个用户,而用户数量庞大.为应对上述挑战,本文致力于有效利用轨迹时间戳序列和用户社交关系这两类被相关研究忽略的信息.一方面时间戳信息能够缓解轨迹稀疏性,另一方面社交关系可以通过刻画用户(类别)之间相关性帮助用户表示学习.为此,本文提出了融合神经时间点过程与图神经网络的新模型NTPP-GNN(Neural Temporal Point Process with Graph Neural Network),包含空间、时间、社交关系三个模块.空间模块中,双向循环神经网络用来刻画地点间序列性;时间模块中,本文提出双向神经时间点过程从正反两个方向捕捉时间连续性,并以此促进轨迹的时间表征;社交关系模块中,图神经网络用于传播和学习用户表示.NTPP-GNN采用端到端方式学习上述三个模块,以确保模块之间彼此适配.为验证NTPP-GNN的有效性,本文在三组数据集(Foursquare、Gowalla和Brightkite)上进行实验.结果表明:(1)NTPP-GNN性能比最好的基准方法在ACC@1上平均提高7.0%;(2)NTPP-GNN的各个模块对于性能均有贡献;(3)所提出的双向神经时间点过程相比于只考虑先后顺序的传统神经点过程方法能够带来额外提升. 展开更多
关键词 用户轨迹识别 循环神经网络 神经时间点过程 图神经网络 时空序列 社交关系
在线阅读 下载PDF
双向循环网络中文分词模型 被引量:11
11
作者 胡婕 张俊驰 《小型微型计算机系统》 CSCD 北大核心 2017年第3期522-526,共5页
针对统计方法的中文分词模型主要依赖于特征工程,难以捕捉句子中长距离依赖关系等问题,提出一种双向循环网络中文分词模型.为能有效获取待分类字符的上下文特征,避免局部窗口大小的限制,使用长短时记忆网络(Long Short-Term M emory Neu... 针对统计方法的中文分词模型主要依赖于特征工程,难以捕捉句子中长距离依赖关系等问题,提出一种双向循环网络中文分词模型.为能有效获取待分类字符的上下文特征,避免局部窗口大小的限制,使用长短时记忆网络(Long Short-Term M emory Neural Netw ork,LSTM)作为神经网络隐藏层,同时增加一层反向LSTM抽取字符的将来信息特征.提出一种语言模型预训练的网络权值初始化方法,该模型同时得到中文字符embeddings分布式向量特征.在标准分词数据集上测试表明该模型取得比以往统计标注方法更好的效果.通过对比实验结果发现深层神经网络能提取出不逊于人工总结的分词特征. 展开更多
关键词 分词 序列标注 循环网络 长短时记忆网络 长距离信息
在线阅读 下载PDF
基于深度学习的文本自动摘要方案 被引量:11
12
作者 张克君 李伟男 +2 位作者 钱榕 史泰猛 焦萌 《计算机应用》 CSCD 北大核心 2019年第2期311-315,共5页
针对自然语言处理(NLP)生成式自动摘要领域的语义理解不充分、摘要语句不通顺和摘要准确度不够高的问题,提出了一种新的生成式自动摘要解决方案,包括一种改进的词向量生成技术和一个生成式自动摘要模型。改进的词向量生成技术以Skip-Gra... 针对自然语言处理(NLP)生成式自动摘要领域的语义理解不充分、摘要语句不通顺和摘要准确度不够高的问题,提出了一种新的生成式自动摘要解决方案,包括一种改进的词向量生成技术和一个生成式自动摘要模型。改进的词向量生成技术以Skip-Gram方法生成的词向量为基础,结合摘要的特点,引入词性、词频和逆文本频率三个词特征,有效地提高了词语的理解;而提出的Bi-MulRnn+生成式自动摘要模型以序列映射(seq2seq)与自编码器结构为基础,引入注意力机制、门控循环单元(GRU)结构、双向循环神经网络(BiRnn)、多层循环神经网络(MultiRnn)和集束搜索,提高了生成式摘要准确性与语句流畅度。基于大规模中文短文本摘要(LCSTS)数据集的实验结果表明,该方案能够有效地解决短文本生成式摘要问题,并在Rouge标准评价体系中表现良好,提高了摘要准确性与语句流畅度。 展开更多
关键词 自然语言处理 生成式文本自动摘要 序列映射 自编码器 词向量 循环神经网络
在线阅读 下载PDF
基于时空循环神经网络的下一个兴趣点推荐方法 被引量:5
13
作者 柴瑞敏 殷臣 +3 位作者 孟祥福 张霄雁 关昕 齐雪月 《智能系统学报》 CSCD 北大核心 2021年第3期407-415,共9页
下一个兴趣点推荐已经成为基于位置的社交网络(location-based social networks,LBSNs)中一个重要任务。现有的模型没有深入考虑相邻签到兴趣点之间的转移时空信息,无法对用户访问下一个兴趣点的长短时间偏好和远近距离偏好进行有效建... 下一个兴趣点推荐已经成为基于位置的社交网络(location-based social networks,LBSNs)中一个重要任务。现有的模型没有深入考虑相邻签到兴趣点之间的转移时空信息,无法对用户访问下一个兴趣点的长短时间偏好和远近距离偏好进行有效建模。本文通过对循环神经网络(recurrent neural network,RNN)进行扩展,提出一个新的基于会话的时空循环神经网络模型(sesson-based spatial-temporal recurrent neural network,SSTRNN)用于下一个兴趣点推荐。该模型通过设置时间转移矩阵和空间转移矩阵分别对用户的时间和空间偏好信息进行建模,综合考虑连续签到兴趣点的序列信息、时空信息以及用户偏好进行下一个兴趣点推荐。通过在2个真实公开的数据集上进行实验,结果显示本文提出的SST-RNN模型的推荐效果比主流的推荐模型有显著提升。在Foursquare和CA数据集上,ACC@5评价指标分别提升了36.38%和13.81%,MAP评价指标分别提升了30.72%和17.26%。 展开更多
关键词 下一个兴趣点推荐 基于位置的社交网络 循环神经网络 序列信息 时间偏好 空间偏好 用户偏好 会话
在线阅读 下载PDF
基于雷达距离象序列的循环神经网络飞机目标识别 被引量:3
14
作者 肖怀铁 庄钊文 郭桂蓉 《电子科学学刊》 CSCD 1998年第3期386-391,共6页
本文应用雷达目标瞬态高分辨距离象序列来识别目标,提出了一种基于距离象序列的实时循环神经网络分类方法,并进行了三类飞机目标的分类实验研究,结果表明,该方法可以得到高的识别率。
关键词 雷达距离象 序列 循环神经网络 目标识别
在线阅读 下载PDF
基于知识增强的文本隐喻识别图编码方法 被引量:3
15
作者 黄河燕 刘啸 刘茜 《计算机研究与发展》 EI CSCD 北大核心 2023年第1期140-152,共13页
隐喻识别是自然语言处理中语义理解的重要任务之一,目标为识别某一概念在使用时是否借用了其他概念的属性和特点.由于单纯的神经网络方法受到数据集规模和标注稀疏性问题的制约,近年来,隐喻识别研究者开始探索如何利用其他任务中的知识... 隐喻识别是自然语言处理中语义理解的重要任务之一,目标为识别某一概念在使用时是否借用了其他概念的属性和特点.由于单纯的神经网络方法受到数据集规模和标注稀疏性问题的制约,近年来,隐喻识别研究者开始探索如何利用其他任务中的知识和粗粒度句法知识结合神经网络模型,获得更有效的特征向量进行文本序列编码和建模.然而,现有方法忽略了词义项知识和细粒度句法知识,造成了外部知识利用率低的问题,难以建模复杂语境.针对上述问题,提出一种基于知识增强的图编码方法(knowledge-enhanced graph encoding method,KEG)来进行文本中的隐喻识别.该方法分为3个部分:在文本编码层,利用词义项知识训练语义向量,与预训练模型产生的上下文向量结合,增强语义表示;在图网络层,利用细粒度句法知识构建信息图,进而计算细粒度上下文,结合图循环神经网络进行迭代式状态传递,获得表示词的节点向量和表示句子的全局向量,实现对复杂语境的高效建模;在解码层,按照序列标注架构,采用条件随机场对序列标签进行解码.实验结果表明,该方法的性能在4个国际公开数据集上均获得有效提升. 展开更多
关键词 隐喻识别 图循环神经网络 知识增强方法 词义项知识 细类别句法知识 序列标注
在线阅读 下载PDF
基于S2S-CNN-GRU的机场离港航班延误预测 被引量:5
16
作者 李善梅 周相志 《中国安全科学学报》 CAS CSCD 北大核心 2023年第8期93-100,共8页
为解决空中交通管理中机场离港航班延误预测难题,采用序列到序列(S2S)框架将门控单元循环网络(GRU)和卷积神经网络(CNN)相结合,提出一种基于S2S-CNN-GRU的航班延误预测模型,主要采用序列到序列的框架结构,利用CNN来捕获机场航班延误状... 为解决空中交通管理中机场离港航班延误预测难题,采用序列到序列(S2S)框架将门控单元循环网络(GRU)和卷积神经网络(CNN)相结合,提出一种基于S2S-CNN-GRU的航班延误预测模型,主要采用序列到序列的框架结构,利用CNN来捕获机场航班延误状态的结构化特征,作为编码器的输入,利用GRU捕获延误状态的时间特征,并作为解码器输出预测结果,提高预测的准确性。采用美国实际数据检验该模型的有效性,并同其他模型进行对比。结果表明:基于S2S-CNN-GRU的航班延误预测模型预测的平均绝对误差(MAE)为3.03,均方根误差(RMSE)为5.82,明显优于其他模型的预测效果。 展开更多
关键词 序列到序列(S2S)-卷积神经网络(CNN)-门控循环单元(GRU)模型 离港航班 延误预测 神经网络 特征提取
在线阅读 下载PDF
基于注意力机制—门控循环单元—BP神经网络的智能多工序工艺参数关联预测 被引量:2
17
作者 阴艳超 张曦 +1 位作者 唐军 张万达 《计算机集成制造系统》 EI CSCD 北大核心 2023年第2期487-502,共16页
鉴于流程制造工序间能质流耦合严重,性能指标影响因素众多,工艺参数时序特征显著,现有制造模式下难以精准预测产品质量,在分析流程制造工艺性能指标多维、强时序、关联耦合特征的基础上,提出一种基于注意力机制—门控循环单元-BP神经网... 鉴于流程制造工序间能质流耦合严重,性能指标影响因素众多,工艺参数时序特征显著,现有制造模式下难以精准预测产品质量,在分析流程制造工艺性能指标多维、强时序、关联耦合特征的基础上,提出一种基于注意力机制—门控循环单元-BP神经网络(Attention AM-GRU-BPNN)的多工序耦合参数关联预测方法。首先采用互信息方法筛选多态异构生产数据作为输入,建立ConvGRU自编码器,通过无监督学习对过程数据、工艺参数、操作参数等进行时序特征提取,同时引入时序注意力机制提取不同工序的耦合关联特征并进行向量嵌入,为不同工序的工艺参数分配注意力权重。在此基础上,设计Attention网络自学习不同时刻下工艺关联特征对质量性能指标的影响差异,再通过门控循环单元网络对重要的关联特征进行增强,并按照时序特征对单工序预测模型进行聚合,实现多工序时序特征融合,最后通过输出层BPNN神经网络精准预测产品工艺质量。实验表明,AM-GRU-BPNN有效提高了预测精度,从多工序角度为生产线工序的加工过程控制提供了依据。 展开更多
关键词 流程制造 多工序耦合 注意力机制—门控循环单元-BP神经网络 时序特征融合 关联预测
在线阅读 下载PDF
神经机器翻译综述 被引量:119
18
作者 李亚超 熊德意 张民 《计算机学报》 EI CSCD 北大核心 2018年第12期2734-2755,共22页
机器翻译研究将源语言所表达的语义自动转换为目标语言的相同语义,是人工智能和自然语言处理的重要研究内容.近年来,基于序列到序列模型(Sequence-to-Sequence Model)形成一种新的机器翻译方法:神经机器翻译(Neural Machine Translation... 机器翻译研究将源语言所表达的语义自动转换为目标语言的相同语义,是人工智能和自然语言处理的重要研究内容.近年来,基于序列到序列模型(Sequence-to-Sequence Model)形成一种新的机器翻译方法:神经机器翻译(Neural Machine Translation,NMT),它完全采用神经网络完成源语言到目标语言的翻译过程,成为一种极具潜力全新的机器翻译模型.神经机器翻译经过最近几年的发展,取得了丰富的研究成果,在多数语言对上逐渐超过了统计机器翻译方法.该文首先介绍了经典神经机器翻译模型及存在的问题与挑战;然后简单概括神经机器翻译中常用的神经网络;之后按照经典神经机器翻译模型、基础共性问题、新模型、新架构等分类体系详细介绍了相关研究进展;接着简单介绍基于神经网络的机器翻译评测方法;最后展望未来研究方向和发展趋势,并对该文做出总结. 展开更多
关键词 机器翻译 神经机器翻译 注意力机制 循环神经网络 序列到序列模型 机器翻译评测
在线阅读 下载PDF
循环神经网络研究综述 被引量:483
19
作者 杨丽 吴雨茜 +1 位作者 王俊丽 刘义理 《计算机应用》 CSCD 北大核心 2018年第A02期1-6,26,共7页
循环神经网络(RNN)是一类非常强大的用于处理和预测序列数据的神经网络模型。循环结构的神经网络克服了传统机器学习方法对输入和输出数据的许多限制,使其成为深度学习领域中一类非常重要的模型。RNN及其变体网络已经被成功应用于多种任... 循环神经网络(RNN)是一类非常强大的用于处理和预测序列数据的神经网络模型。循环结构的神经网络克服了传统机器学习方法对输入和输出数据的许多限制,使其成为深度学习领域中一类非常重要的模型。RNN及其变体网络已经被成功应用于多种任务,尤其是当数据中存在一定时间依赖性的时候。语音识别、机器翻译、语言模型、文本分类、词向量生成、信息检索等,都需要一个模型能够将具有序列性质的数据作为输入进行学习;然而,RNN通常难以训练,循环多次之后,大多数情况下梯度往往倾向于消失,也有较少情况会发生梯度爆炸的问题。针对RNN在实际应用中存在的问题,长短期记忆(LSTM)网络被提出,它能够保持信息的长期存储而备受关注,关于LSTM结构的改进工作也陆续出现。然后,主要针对循环结构的神经网络的发展进行详细阐述,对目前流行的几种变体模型进行详细的讨论和对比。最后,对循环结构的神经网络的发展趋势进行了探讨。 展开更多
关键词 循环神经网络 长短期记忆网络 深度学习 神经网络 序列数据
在线阅读 下载PDF
循环神经网络在语音识别模型中的训练加速方法 被引量:9
20
作者 冯诗影 韩文廷 +2 位作者 金旭 迟孟贤 安虹 《小型微型计算机系统》 CSCD 北大核心 2018年第12期2561-2565,共5页
深度神经网络目前已被广泛应用于众多领域.尤其在自然语言处理领域,基于循环神经网络的模型训练效果明显优于其他传统方法.然而模型复杂度不断提高,有限存储空间成为进一步训练大规模任务的瓶颈,例如使用图形处理器(GPU)进行加速训练.... 深度神经网络目前已被广泛应用于众多领域.尤其在自然语言处理领域,基于循环神经网络的模型训练效果明显优于其他传统方法.然而模型复杂度不断提高,有限存储空间成为进一步训练大规模任务的瓶颈,例如使用图形处理器(GPU)进行加速训练.本文提出一种基于语音识别模型,对循环神经网络进行训练加速的有效方法.首先,基于输入训练集序列的长度分布,对每一批训练样本进行划分,并重新组织;其次,通过对GPU显存的高效使用,每一批次训练样本数增多,从而提升计算效率,减少训练时间.本文分别从不同的批样本数及不同序列组织方法,通过对比单位时间处理序列数衡量优化效果.实验表明,基于3层循环神经网络的语音识别模型训练中,单GPU训练可达到1. 7倍加速比. 展开更多
关键词 循环神经网络 语音识别 GPU 序列分组 存储
在线阅读 下载PDF
上一页 1 2 3 下一页 到第
使用帮助 返回顶部