融合RNN与稀疏自注意力的文本摘要方法 被引量：1

1

作者 刘钟 唐宏 +1 位作者 王宁喆 朱传润 《计算机工程》 北大核心 2025年第1期312-320,共9页

随着深度学习的高速发展,基于序列到序列(Seq2Seq)架构的文本摘要方法成为研究焦点,但现有大多数文本摘要模型受限于长期依赖,忽略了注意力机制复杂度以及词序信息对文本摘要生成的影响,生成的摘要丢失关键信息,偏离原文内容与意图,影... 随着深度学习的高速发展,基于序列到序列(Seq2Seq)架构的文本摘要方法成为研究焦点,但现有大多数文本摘要模型受限于长期依赖,忽略了注意力机制复杂度以及词序信息对文本摘要生成的影响,生成的摘要丢失关键信息,偏离原文内容与意图,影响用户体验。为了解决上述问题,提出一种基于Transformer改进的融合递归神经网络(RNN)与稀疏自注意力的文本摘要方法。首先采用窗口RNN模块,将输入文本按窗口划分,每个RNN对窗口内词序信息进行压缩,并通过窗口级别的表示整合为整个文本的表示,进而增强模型捕获局部依赖的能力;其次采用基于递归循环机制的缓存模块,循环缓存上一文本片段的信息到当前片段,允许模型更好地捕获长期依赖和全局信息;最后采用稀疏自注意力模块,通过块稀疏矩阵对注意力矩阵按块划分,关注并筛选出重要令牌对,而不是在所有令牌对上平均分配注意力,从而降低注意力的时间复杂度,提高长文本摘要任务的效率。实验结果表明,该方法在数据集text8、enwik8上的BPC分数相比于LoBART模型降低了0.02,在数据集wikitext-103以及ptb上的PPL分数相比于LoBART模型分别降低了1.0以上,验证了该方法的可行性与有效性。 展开更多

关键词 序列到序列架构 文本摘要 Transformer模型 递归神经网络 递归循环机制 稀疏自注意力机制

在线阅读 下载PDF 职称材料

Bi-RNN与GMS耦合的金属露天矿井涌水量预测

2

作者 赵誉兴 李向文 《煤田地质与勘探》 EI CAS CSCD 北大核心 2024年第12期155-169,共15页

【目的】在矿井实际生产过程开始前,准确预测涌水量对预防矿井潜在水害事故和保障安全生产具有重要的直接指导作用。【方法】为提升以大气降水为主要补给来源的露天矿井涌水量预测的准确性与稳定性,提出一种结合双向循环神经网络(bidire... 【目的】在矿井实际生产过程开始前,准确预测涌水量对预防矿井潜在水害事故和保障安全生产具有重要的直接指导作用。【方法】为提升以大气降水为主要补给来源的露天矿井涌水量预测的准确性与稳定性,提出一种结合双向循环神经网络(bidirectional recurrent neural network,Bi-RNN)和地下水数值模拟系统(groundwater modeling system,GMS)的涌水量预测耦合模型。该模型通过对全球预报系统数据(global forecast system,GFS)提供的研究区内历史预报降水与实际降水之间差值的波动规律进行分析,利用Bi-RNN对预报降水数据进行校正,将校正后的降水数据输入GMS中以预测南北2个开采区的涌水量。同时,采用传统的大井法和补给模数大井法对开采区涌水量进行预测,并对比不同方法的预测结果。【结果和结论】结果表明:北部开采区耦合模型预测结果为294 m^(3)/d,大井法预测结果为276.651~940.613 m^(3)/d,补给模数大井法预测结果为287.241 m^(3)/d;南部开采区耦合模型预测结果为1 160 m^(3)/d;大井法预测结果为3 330.107~5 090.944 m^(3)/d,补给模数大井法预测结果为1 108.575 m^(3)/d。研究表明,所建立的耦合模型在预测露天矿井涌水量方面取得了一定成果,作为一种结合多数据源的预测方法具有一定优势。该模型为解决矿井涌水量问题提供了新的思路和技术支持,具有较高的理论价值和实际应用潜力。 展开更多

关键词 露天矿井 涌水量预测 双向循环神经网络 全球预报系统 地下水数值模拟系统 深度学习

在线阅读 下载PDF 职称材料

基于注意力机制RNN模型的癫痫患者脑电信号识别方法 被引量：2

3

作者 周嵩 高天寒 《东北大学学报（自然科学版）》 EI CAS CSCD 北大核心 2023年第8期1098-1103,共6页

针对癫痫患者脑电信号(electroencephalogram,EEG)数据识别提出了一种基于注意力机制的RNN(recurrent neural networks)模型.传统EEG特征分析耗时巨大且过度依赖专家经验,极大限制了脑活动识别方法的应用推广.因此,提出一种新的EEG识别... 针对癫痫患者脑电信号(electroencephalogram,EEG)数据识别提出了一种基于注意力机制的RNN(recurrent neural networks)模型.传统EEG特征分析耗时巨大且过度依赖专家经验,极大限制了脑活动识别方法的应用推广.因此,提出一种新的EEG识别方法以解决上述问题.首先对癫痫患者EEG的基本特征进行分析,进而采用基于注意力机制RNN模型消除各种干扰信号,利用XGBoost分类器识别EEG数据的类别,达到自动细化识别原始EEG的目的,最后在公共EEG数据集上进行大量实验,验证所提方法对EEG识别的准确性.实验结果表明,与一些成熟的EEG识别方法相比,本文所提方法在识别精度上有了进一步提升. 展开更多

关键词 脑电信号 注意力机制 rnn模型 XGBoost分类器 癫痫患者

在线阅读 下载PDF 职称材料

基于HMM和RNN的无人机语音控制方案与仿真研究 被引量：13

4

作者 周楠 艾剑良 《系统仿真学报》 CAS CSCD 北大核心 2020年第3期464-471,共8页

为简化无人机操作,避免误操作,设计了一套基于隐马尔可夫模型(Hidden Markov Model,HMM)和循环神经网络(Recurrent Neural Networks,RNN)的无人机语音控制方案。该方案采用HMM识别无人机语音指令;同时采用RNN对多套无人机操作指令串进... 为简化无人机操作,避免误操作,设计了一套基于隐马尔可夫模型(Hidden Markov Model,HMM)和循环神经网络(Recurrent Neural Networks,RNN)的无人机语音控制方案。该方案采用HMM识别无人机语音指令;同时采用RNN对多套无人机操作指令串进行训练,并对当前时刻指令进行预测,通过计算二者的相关性判断是否执行。仿真结果表明,该方案对HMM识别错误指令的辨别率达到61.90%,使整体错误率降至1.43%,表明该方案具有较为优异的性能。 展开更多

关键词 无人机 语音控制 隐马尔可夫模型 循环神经网络

在线阅读 下载PDF 职称材料

基于多粒度时间注意力RNN的航班客座率预测 被引量：8

5

作者 邓玉婧 武志昊 林友芳 《计算机工程》 CAS CSCD 北大核心 2020年第1期294-301,共8页

准确预测航班客座率有利于处理航班机票超售、座位虚耗等问题,然而传统时间序列预测方法只关注航班近期每日客座率的变化特点,无法同时考虑其他因素的影响,预测效果不够理想。针对该问题,提出一种基于多粒度时间注意力机制的循环神经网... 准确预测航班客座率有利于处理航班机票超售、座位虚耗等问题,然而传统时间序列预测方法只关注航班近期每日客座率的变化特点,无法同时考虑其他因素的影响,预测效果不够理想。针对该问题,提出一种基于多粒度时间注意力机制的循环神经网络模型MTA-RNN。通过构建多级注意力机制获取航班客座率在不同时间粒度下的时序相关性,同时考虑航班自身属性及节假日等其他因素,得到未来一段时间内的目标航班客座率。在真实历史航班客座率数据集上的实验结果表明,MTA-RNN模型的预测准确率高于ARIMA模型、LSTM模型和Seq2seq模型。 展开更多

关键词 航班客座率预测 时间序列预测 循环神经网络 注意力机制 编解码器模型

在线阅读 下载PDF 职称材料

基于循环神经网络的2-DOF软体机械臂运动建模与控制 被引量：2

6

作者 丁卫 郑云 +1 位作者 钟宋义 杨扬 《上海大学学报（自然科学版）》 CAS CSCD 北大核心 2024年第3期522-531,共10页

因现有软体机械臂材料刚度小、模量不稳定,导致建模与控制难度大.提出一种基于循环神经网络(recurrentneuralnetwork,RNN)的方法,用于二自由度(two-degree-of-freedom,2-DOF)软体机械臂的运动建模与控制.使用动作捕捉仪采集不同气压、... 因现有软体机械臂材料刚度小、模量不稳定,导致建模与控制难度大.提出一种基于循环神经网络(recurrentneuralnetwork,RNN)的方法,用于二自由度(two-degree-of-freedom,2-DOF)软体机械臂的运动建模与控制.使用动作捕捉仪采集不同气压、负载下的位置坐标,并将其导入门控循环单元(gated recurrentunit,GRU)神经网络模型进行训练.当调节超参数至网络结构最优时,测试集准确度可达98.87%.在此基础上,构建气压与负载到末端位置的映射函数.实验结果表明,本方法可将机械臂的控制精度提升至6»8 mm,显著降低了软体机器人的控制与建模难度. 展开更多

关键词 循环神经网络 门控循环单元模型 软体机械臂 建模与控制

在线阅读 下载PDF 职称材料

基于自适应动态预测的网络切片资源冲突优化

7

作者 赵季红 张富 崔曌铭 《计算机工程》 CSCD 北大核心 2024年第1期183-190,共8页

网络切片(NS)是5G网络中的一种关键性技术,在多业务动态场景下发挥着重要作用。针对5G网络切片中由切片需求动态变化引起的资源冲突问题,采用一种基于自适应动态预测(ADP)的优化方法,提出“自适应动态预测-模型优化”的优化方案。在自... 网络切片(NS)是5G网络中的一种关键性技术,在多业务动态场景下发挥着重要作用。针对5G网络切片中由切片需求动态变化引起的资源冲突问题,采用一种基于自适应动态预测(ADP)的优化方法,提出“自适应动态预测-模型优化”的优化方案。在自适应动态预测模块,对动态的切片流量进行波动等级划分,以确保切片流量预测的准确性以及自适应性。根据划分结果,分别采用2种不同的循环神经网络算法来预测切片未来时间的流量需求,包括基于注意力机制-双向门控循环单元(Att-BiGRU)的点预测以及基于自举法-BiGRU的区间预测。在模型优化模块,根据预测结果定义用户满意度函数和切片优化配置的开销,将资源冲突优化问题表示为最大化网络收益。由于预测模块的输出可能含有不确定参数,根据鲁棒优化和基于可变粒子数量的粒子群优化算法求解出切片优化配置方案。在仿真部分对所提优化方案进行验证,结果表明,该方法在满足切片动态需求的同时,降低了资源冲突带来的负面影响,其在网络收益以及请求接受率等方面优于对比算法,链路资源利用率达到90%以上。 展开更多

关键词 网络切片 资源冲突 动态预测 模型优化 循环神经网络

在线阅读 下载PDF 职称材料

基于遗传算法改进的一阶滞后滤波和长短期记忆网络的蓝藻水华预测方法 被引量：25

8

作者 于家斌 尚方方 +4 位作者 王小艺 许继平 王立 张慧妍 郑蕾 《计算机应用》 CSCD 北大核心 2018年第7期2119-2123,2135,共6页

河湖藻类水华形成过程中所具有的突发性和不确定性,导致对藻类水华爆发预测准确性不高。为解决此问题,以叶绿素a的浓度值作为蓝藻水华演化过程表征指标,提出基于长短期记忆(LSTM)循环神经网络(RNN)蓝藻水华预测模型。首先,用遗传算法改... 河湖藻类水华形成过程中所具有的突发性和不确定性,导致对藻类水华爆发预测准确性不高。为解决此问题,以叶绿素a的浓度值作为蓝藻水华演化过程表征指标,提出基于长短期记忆(LSTM)循环神经网络(RNN)蓝藻水华预测模型。首先,用遗传算法改进的一阶滞后滤波(GF)优化算法对数据进行平滑滤波处理;然后,搭建GFLSTM网络的蓝藻水华预测模型,实现对水华发生的精准预测;最后,以太湖水域梅梁湖区域的采样数据为样本,对预测模型进行检验,并与传统的RNN和LSTM网络进行对比。仿真结果表明,提出的GF-LSTM网络模型平均相对误差控制在16%~18%,而RNN模型的预测平均相对误差为28%~32%,LSTM网络模型的平均相对误差为19%~22%,对采用数据的平滑性处理效果较好,预测精度更高,对样本具有更好的适应性,克服了传统RNN模型在长期训练时出现的梯度消失与梯度爆炸缺点。 展开更多

关键词 蓝藻水华 长短期记忆 滤波算法 循环神经网络 预测模型

在线阅读 下载PDF 职称材料

基于RBF循环神经网络的电力系统负荷建模 被引量：10

9

作者 陈幸琼 邓长虹 +1 位作者 潘章达 董超 《电网技术》 EI CSCD 北大核心 2007年第17期56-59,共4页

针对负荷模型难以精确建立的问题以及负荷非线性动态仿真的复杂性,提出了一种基于径向基循环神经网络的负荷建模方法。将循环神经网络和径向基网络相结合,利用循环神经网络对时间序列的学习能力和径向基网络具有结构自适应确定、快速收... 针对负荷模型难以精确建立的问题以及负荷非线性动态仿真的复杂性,提出了一种基于径向基循环神经网络的负荷建模方法。将循环神经网络和径向基网络相结合,利用循环神经网络对时间序列的学习能力和径向基网络具有结构自适应确定、快速收敛的优点,建立新的电力系统综合负荷模型。典型新英格兰测试系统的仿真证明了该模型对电力系统负荷模型辨识的有效性和准确性。 展开更多

关键词 负荷建模 循环神经网络 RBF网络 模型辨识

在线阅读 下载PDF 职称材料

基于深度学习的手语识别综述 被引量：25

10

作者 张淑军 张群 李辉 《电子与信息学报》 EI CSCD 北大核心 2020年第4期1021-1032,共12页

手语识别涉及计算机视觉、模式识别、人机交互等领域,具有重要的研究意义与应用价值。深度学习技术的蓬勃发展为更加精准、实时的手语识别带来了新的机遇。该文综述了近年来基于深度学习的手语识别技术,从孤立词与连续语句两个分支展开... 手语识别涉及计算机视觉、模式识别、人机交互等领域,具有重要的研究意义与应用价值。深度学习技术的蓬勃发展为更加精准、实时的手语识别带来了新的机遇。该文综述了近年来基于深度学习的手语识别技术,从孤立词与连续语句两个分支展开详细的算法阐述与分析。孤立词识别技术划分为基于卷积神经网络(CNN)、3维卷积神经网络(3D-CNN)和循环神经网络(RNN) 3种架构的方法;连续语句识别所用模型复杂度更高,通常需要辅助某种长时时序建模算法,按其主体结构分为双向长短时记忆网络模型、3维卷积网络模型和混合模型。归纳总结了目前国内外常用手语数据集,探讨了手语识别技术的研究挑战与发展趋势,高精度前提下的鲁棒性和实用化仍有待于推进。 展开更多

关键词 深度学习 手语识别 卷积网络 循环神经网络 长时序建模

在线阅读 下载PDF 职称材料

基于循环神经网络的无线网络入侵检测分类模型构建与优化研究 被引量：59

11

作者 陈红松 陈京九 《电子与信息学报》 EI CSCD 北大核心 2019年第6期1427-1433,共7页

为提高无线网络入侵检测模型的综合性能,该文将循环神经网络(RNN)算法用于构建无线网络入侵检测分类模型。针对无线网络入侵检测训练数据样本分布不均衡导致分类模型出现过拟合的问题,在对原始数据进行清洗、转换、特征选择等预处理基础... 为提高无线网络入侵检测模型的综合性能,该文将循环神经网络(RNN)算法用于构建无线网络入侵检测分类模型。针对无线网络入侵检测训练数据样本分布不均衡导致分类模型出现过拟合的问题,在对原始数据进行清洗、转换、特征选择等预处理基础上,提出基于窗口的实例选择算法精简训练数据集。对攻击分类模型的网络结构、激活函数和可复用性进行综合优化实验,得到最终优化模型,分类准确率达到98.6699%,综合优化后的运行时间为9.13 s。与其他机器学习算法结果比较,该优化方法在分类准确率和执行效率两个方面取得了很好的效果,综合性能优于传统的入侵检测分类模型。 展开更多

关键词 入侵检测 循环神经网络 实例选择 模型优化 实验验证

在线阅读 下载PDF 职称材料

基于长短期记忆神经网络的火电厂NO_x排放预测模型 被引量：43

12

作者 杨国田 张涛 +2 位作者 王英男 李新利 刘禾 《热力发电》 CAS 北大核心 2018年第10期12-17,共6页

火电厂燃煤锅炉产生的NO_x是大气污染物的重要来源之一,建立有效的NO_x排放预测模型是降低NO_x排放的基础。针对火电厂控制系统数据的海量化和高维化及燃煤锅炉多参数多变量相互耦合的特点,首先利用主成分分析法对火电厂分布式控制系统(... 火电厂燃煤锅炉产生的NO_x是大气污染物的重要来源之一,建立有效的NO_x排放预测模型是降低NO_x排放的基础。针对火电厂控制系统数据的海量化和高维化及燃煤锅炉多参数多变量相互耦合的特点,首先利用主成分分析法对火电厂分布式控制系统(DCS)数据进行特征提取,消除各特征变量间的耦合性;然后将提取的特征作为长短期记忆(LSTM)神经网络的输入,得到火电厂NO_x排放预测模型。将该模型与传统循环神经网络(RNN)模型、最小二乘支持向量机(LSSVM)模型应用于某超超临界660 MW机组燃煤锅炉对NO_x排放质量浓度进行预测。结果表明:LSTM神经网络和RNN模型预测效果均优于LSSVM模型;本文提出的LSTM神经网络模型预测准确率达到79%,均方根误差为0.398,优于其他2种模型;LSTM神经网络模型数据跟踪效果明显优于RNN模型,预测结果波动较小,模型稳定性和准确率较高。 展开更多

关键词 火电厂 NOX排放 预测模型 LSTM神经网络 rnn LSSVM 主成分分析 特征提取

在线阅读 下载PDF 职称材料

基于模糊粗糙模型的粗神经网络建模方法研究 被引量：5

13

作者 张东波 王耀南 黄辉先 《自动化学报》 EI CSCD 北大核心 2008年第8期1016-1023,共8页

提出一种基于模糊粗糙模型的粗神经网络建模(FRM_RNN_M)方法.该方法通过自适应G-K聚类实现输入输出积空间的模糊划分,进而在聚类数和约简属性搜索的基础上,提取优化的模糊粗糙模型(Fuzzy rough model,FRM),并在融合神经网络后实现粗神... 提出一种基于模糊粗糙模型的粗神经网络建模(FRM_RNN_M)方法.该方法通过自适应G-K聚类实现输入输出积空间的模糊划分,进而在聚类数和约简属性搜索的基础上,提取优化的模糊粗糙模型(Fuzzy rough model,FRM),并在融合神经网络后实现粗神经网络建模.分类实验表明,FRM_RNN_M的分类性能优于传统贝叶斯和LVQ方法,而且比单纯的FRM模型具有更强的综合决策能力,和传统的粗逻辑神经网络(Rough logic neural network,RLNN)相比,FRM_RNN_M方法建立的神经网络结构精简,收敛速度快,具有更强的泛化能力. 展开更多

关键词 粗糙集 粗糙数据模型 粗神经网络

在线阅读 下载PDF 职称材料

自由表述口语语音评测后验概率估计改进方法 被引量：5

14

作者 许苏魁 戴礼荣 +2 位作者 魏思 刘庆峰 高前勇 《中文信息学报》 CSCD 北大核心 2017年第2期212-219,共8页

该文研究了两种用于改善深度神经网络声学建模框架下自由表述口语语音评测任务后验概率估计的方法:1)使用RNN语言模型对一遍解码N-best候选做语言模型得分重估计来获得更准确的识别结果以重新估计后验概率;2)借鉴多语种神经网络训练框架... 该文研究了两种用于改善深度神经网络声学建模框架下自由表述口语语音评测任务后验概率估计的方法:1)使用RNN语言模型对一遍解码N-best候选做语言模型得分重估计来获得更准确的识别结果以重新估计后验概率;2)借鉴多语种神经网络训练框架,提出将方言数据聚类状态加入解码神经网络输出节点,在后验概率估计中引入方言似然度得分以评估方言程度的新方法。实验表明,这两种方法估计出的后验概率与人工分相关度分别绝对提升了3.5%和1.0%,两种方法融合后相关度绝对提升4.9%;对于一个真实的评测任务,结合该文改进的后验概率评分特征,总体评分相关度绝对提升2.2%。 展开更多

关键词 自由表述口语 语音评测 后验概率 深度神经网络 rnn语言模型

在线阅读 下载PDF 职称材料

基于周期性建模的时间序列预测方法及电价预测研究 被引量：32

15

作者 徐任超 阎威武 +2 位作者 王国良 杨健程 张曦 《自动化学报》 EI CSCD 北大核心 2020年第6期1136-1144,共9页

时间序列数据广泛存在于人类的生产生活中,通常具有复杂的非线性动态和一定的周期性.与传统的时间序列分析方法相比,基于深度学习的方法更能捕捉数据的深层特性,对具有复杂非线性的时间序列有较好的建模效果.为了在神经网络中显式地建... 时间序列数据广泛存在于人类的生产生活中,通常具有复杂的非线性动态和一定的周期性.与传统的时间序列分析方法相比,基于深度学习的方法更能捕捉数据的深层特性,对具有复杂非线性的时间序列有较好的建模效果.为了在神经网络中显式地建模时间序列数据的周期性和趋势性,本文在循环神经网络的基础上引入了周期损失和趋势损失,建立了基于周期性建模和多任务学习的时间序列预测模型.将模型应用到欧洲能源交易所法国市场的能源市场价格预测中,结果表明周期损失和趋势损失能够提高神经网络的泛化能力,并提高预测时间序列趋势的精度. 展开更多

关键词 时间序列预测 深度学习 循环神经网络 周期趋势建模

在线阅读 下载PDF 职称材料

基于GRU循环神经网络的稠油油藏产量预测新方法 被引量：9

16

作者 梁潇 喻高明 +1 位作者 辛显康 刘晨 《西安石油大学学报（自然科学版）》 CAS 北大核心 2020年第3期54-59,共6页

油田产量精确预测对油田高效生产开发具有重要意义,而目前常用的DCA方法(PLE模型、SEPD模型、Arps模型)不能够充分挖掘数据前后关联,会导致预测出现偏差。为此,提出了一种基于门限递归单元循环神经网络模型(GRU-RNN模型)的预测底水稠油... 油田产量精确预测对油田高效生产开发具有重要意义,而目前常用的DCA方法(PLE模型、SEPD模型、Arps模型)不能够充分挖掘数据前后关联,会导致预测出现偏差。为此,提出了一种基于门限递归单元循环神经网络模型(GRU-RNN模型)的预测底水稠油油藏产量的新方法。GRU-RNN模型预测平均误差为3.03%,准确度高于DCA方法(PLE、SEPD、Arps模型的平均误差分别为29.51%、32.98%、38.76%)。该方法为油田产量预测提供了除经验公式及数值模型方法之外的新思路。 展开更多

关键词 产量预测 稠油油藏 神经网络 数值模拟 GRU-rnn5模型

在线阅读 下载PDF 职称材料

基于改进K-means算法的电力短期负荷预测方法研究 被引量：43

17

作者 荀超 陈伯建 +4 位作者 吴翔宇 项康利 林可尧 肖芬 易杨 《电力科学与技术学报》 CAS 北大核心 2022年第1期90-95,共6页

现有方法预测电力短期负荷时忽略了对其进行聚类优化处理,导致预测耗时较长,短期负荷预测精度偏低。为此,提出一种基于改进K-means算法的电力短期负荷预测方法。该方法利用改进后的K-means算法聚类处理电力负荷大数据,使用聚类后获得的... 现有方法预测电力短期负荷时忽略了对其进行聚类优化处理,导致预测耗时较长,短期负荷预测精度偏低。为此,提出一种基于改进K-means算法的电力短期负荷预测方法。该方法利用改进后的K-means算法聚类处理电力负荷大数据,使用聚类后获得的训练样本构建循环神经网络RNN拓扑结构,然后通过对RNN神经网络模型设置最优权值,实现电力负荷的短期预测。实验结果表明,所提方法具有高预测效率和高短期负荷预测精准度。 展开更多

关键词 K-MEANS算法 数据聚类 rnn神经网络模型 电力负荷大数据 预测方法

在线阅读 下载PDF 职称材料

基于Seq2Seq模型的自定义古诗生成 被引量：2

18

作者 王乐为 余鹰 张应龙 《计算机科学与探索》 CSCD 北大核心 2020年第6期1028-1035,共8页

当前,古诗句生成任务大多基于单一的循环神经网络(RNN)结构,在生成时需事先给定一个起始字,然后以该起始字为基础进行古诗句生成,生成过程的可控性较差,往往达不到预期效果。针对以上问题,将注意力机制引入Seq2Seq模型,通过自建的数据... 当前,古诗句生成任务大多基于单一的循环神经网络(RNN)结构,在生成时需事先给定一个起始字,然后以该起始字为基础进行古诗句生成,生成过程的可控性较差,往往达不到预期效果。针对以上问题,将注意力机制引入Seq2Seq模型,通过自建的数据集进行训练,实现了基于关键字的自定义古诗句生成。在生成阶段,首先输入一段描述性内容,并从中提取出关键字。当关键字不足时,使用word2vec进行有效的关键字补全操作。此外,针对古诗体裁难以控制问题,在Seq2Seq模型中的Encoder端增加格式控制符,有效解决了以往模型在生成古诗时,体裁选择的随机性问题。实验表明,所提出的模型较好地达到了预期的生成效果。 展开更多

关键词 Seq2Seq模型 循环神经网络(rnn) 古诗生成 注意力机制

在线阅读 下载PDF 职称材料

兼顾速度和精度的深度神经网络震相拾取 被引量：4

19

作者 于子叶 储日升 +1 位作者 盛敏汉 马海超 《地震学报》 CSCD 北大核心 2020年第3期269-282,I0001,共15页

深度神经网络虽然在震相拾取中取得了良好效果,但作为高复杂度的机器学习模型,深度神经网络在取得较高精度的同时需要付出较高的计算代价,而且试验研究表明震相拾取中并不需要过高的模型复杂度。为此,本文根据地震波形的特点设计了四种... 深度神经网络虽然在震相拾取中取得了良好效果,但作为高复杂度的机器学习模型,深度神经网络在取得较高精度的同时需要付出较高的计算代价,而且试验研究表明震相拾取中并不需要过高的模型复杂度。为此,本文根据地震波形的特点设计了四种具有不同复杂度的深度神经网络改进模型,可以综合具体的精度和速度需求从中选取合适的模型。在此基础上,将改进模型与现有四种到时拾取的深度学习网络模型进行了对比,结果表明本文中的网络模型在到时拾取上具有较高的速度和精度。同时,本文的深度神经网络通过使用多种深度学习模型压缩手段可将震相拾取模型的大小压缩到2.0 MB以内,从而使得模型可以在低功耗设备上完成高速震相拾取的同时尽可能地减少精度损失。 展开更多

关键词 震相拾取 深度神经网络 编码解码结构 卷积神经网络 循环神经网络 模型压缩

在线阅读 下载PDF 职称材料

基于循环神经网络的人体运动模型的隐状态初始化方法 被引量：3

20

作者 李南帆 司文文 +3 位作者 杜思远 王志勇 钟重阳 夏时洪 《计算机应用》 CSCD 北大核心 2023年第3期723-727,共5页

针对基于循环神经网络(RNN)的人体运动合成方法存在首帧跳变,进而影响生成运动的质量的问题,提出一种带有隐状态初始化的人体运动合成方法,将初始隐状态作为自变量,利用神经网络的目标函数作为优化目标,并使用梯度下降的方法进行优化求... 针对基于循环神经网络(RNN)的人体运动合成方法存在首帧跳变,进而影响生成运动的质量的问题,提出一种带有隐状态初始化的人体运动合成方法,将初始隐状态作为自变量,利用神经网络的目标函数作为优化目标,并使用梯度下降的方法进行优化求解,以得到一个合适的初始隐状态。相较于编码器-循环-解码器(ERD)、残差门控循环单元(RGRU)模型,所提方法在首帧的预测误差分别减小63.51%和6.90%,10帧的总误差分别减小50.00%和4.89%。实验结果表明,该方法无论是运动合成质量还是运动预测精度都优于不进行初始隐状态估计的方法;它通过准确估计基于RNN的人体运动模型的首帧隐状态可提升运动合成的质量,并且为实时安全监测中的动作识别模型提供可靠的数据支持。 展开更多

关键词 人体运动合成 循环神经网络 隐状态估计 动作识别 运动模型

在线阅读 下载PDF 职称材料