期刊文献+
共找到22篇文章
< 1 2 >
每页显示 20 50 100
基于情感词典和堆叠残差的双向长短期记忆网络的情感分析 被引量:14
1
作者 罗浩然 杨青 《计算机应用》 CSCD 北大核心 2022年第4期1099-1107,共9页
情感分析作为自然语言处理(NLP)的细分研究方向经历了使用情感词典、机器学习和深度学习分析的发展过程。针对使用一般化的深度学习模型作为文本分类器对于特定领域的网络评论类型的文本的分析的精准度较低,训练时发生过拟合现象以及情... 情感分析作为自然语言处理(NLP)的细分研究方向经历了使用情感词典、机器学习和深度学习分析的发展过程。针对使用一般化的深度学习模型作为文本分类器对于特定领域的网络评论类型的文本的分析的精准度较低,训练时发生过拟合现象以及情感词典覆盖率低、编纂工作量大的问题,提出了基于情感词典和堆叠残差的双向长短期记忆(Bi-LSTM)网络的情感分析模型。首先,借助情感词典中情感词的设计覆盖“教育机器人”研究领域内的专业词汇,从而弥补Bi-LSTM模型在分析此类文本时精准度的不足;然后,使用Bi-LSTM和SnowNLP来降低情感词典的编纂体量。长短期记忆(LSTM)网络的“记忆门”“遗忘门”结构可以在保证充分考虑评论文本中的前后词语的关联性的同时,适时选择遗忘一些已分析词语,从而避免反向传播时的梯度爆炸问题。而在将堆叠残差的Bi-LSTM引入后,不仅使得模型的层数加深至8层,而且还使残差网络避免了叠加LSTM时会导致的“退化”问题;最后,通过适当设置和调整两部分的得分权重,并将总分使用Sigmoid激活函数标准化到[0,1]的区间上,按照[0,0.5],(0.5,1]的区间划分分别表示负面和正面情绪,完成情感分类。实验结果表明,在“教育机器人”评论数据集中,所提模型对于情感分类准确率相较于标准的LSTM模型提升了约4.5个百分点,相较于BERT提升了约2.0个百分点。综上,所提模型将基于情感词典和深度学习模型的情感分类方法一般化;而通过修改情感词典中的情感词汇并适当调整深度学习模型的结构和层数,所提模型可以应用于电子商务平台中各类商品的购物评价的精确情感分析,从而帮助企业洞悉消费者的购物心理和市场需求,同时也可以为消费者提供商品质量的一种参考标准。 展开更多
关键词 双向长短记忆网络 购物评论 情感分析 残差 情感词典
在线阅读 下载PDF
基于堆叠集成学习的非侵入式负荷高精度辨识方法
2
作者 黄宇 何耿生 +4 位作者 刘西卓 刘玺 牟景艳 陈学艳 曾金灿 《计算机应用》 北大核心 2025年第S1期323-328,共6页
非侵入式负荷监测(NILM)通过分析电力总线数据估计单个负荷的功率波形,是电力系统能耗管理的关键技术之一。随着用户对设备能耗管理需求的增加,NILM的准确性成为研究的重点之一,但它容易受到功率类型、功率水平和负荷变化的影响。单一N... 非侵入式负荷监测(NILM)通过分析电力总线数据估计单个负荷的功率波形,是电力系统能耗管理的关键技术之一。随着用户对设备能耗管理需求的增加,NILM的准确性成为研究的重点之一,但它容易受到功率类型、功率水平和负荷变化的影响。单一NILM模型面对不同类型的负荷时准确性差异较大,使用单一方法难以在各类负荷上均取得理想效果。因此,提出一种基于堆叠集成学习的非侵入式负荷高精度辨识方法 AMEL(Aggregation Method based on Ensemble Learning)。首先,选择在各种类型的负荷中表现最优的几种方法构建NILM模型库;其次,建立一个基于多层感知机(MLP)的NILM模型偏好框架,以实现对不同负荷的高精度监测。在UK-DALE数据集上的实验结果表明,与典型的NILM方法相比,所提方法的平均绝对误差(MAE)平均降低了35.6%,F1、召回率和马修斯相关系数(MCC)分别平均提升了33.5%、30.6%和32.1%。此外,通过比较现有的堆叠集成方法和各类设备的辨识波形,验证了所提方法的有效性。 展开更多
关键词 非侵入式负荷监测 集成学习 方法 序列到序列 双向长短记忆网络 去噪自编码器
在线阅读 下载PDF
ConvNeXt网络及Stacked BiLSTM-Self-Attention在轴承剩余寿命预测中的应用 被引量:1
3
作者 张印文 王琳霖 +1 位作者 薛文科 梁文婕 《机电工程》 CAS 北大核心 2024年第11期1977-1985,1994,共10页
在滚动轴承剩余使用寿命预测方面,采用传统方法时存在鲁棒性差、精度低等各种问题。近些年来深度学习的发展为解决这些问题提供了新的思路。为了进一步提高对轴承寿命的预测精度,提出了一种基于ConvNeXt网络、堆叠双向长短时记忆网络(SB... 在滚动轴承剩余使用寿命预测方面,采用传统方法时存在鲁棒性差、精度低等各种问题。近些年来深度学习的发展为解决这些问题提供了新的思路。为了进一步提高对轴承寿命的预测精度,提出了一种基于ConvNeXt网络、堆叠双向长短时记忆网络(SBiLSTM)和自注意力机制(Self-Attention)的滚动轴承寿命预测方法。首先,采用连续小波变换(CWT)构造了振动信号的时频图,以更好地捕捉信号的时域和频域特征;然后,将得到的时频图输入到构建的ConvNeXt网络中,通过卷积、池化和层归一化等操作,对时频图的关键特征进行了提取;最后,将提取后的特征输入到SBiLSTM-Self-Attention模块中,进一步提取了时序信息和特征权重分配数据,利用PHM2012挑战数据集进行了验证,通过实验分析了该方法的均方根误差(RMSE)和平均绝对误差(MAE)。研究结果表明:相较于现有技术方法,该方法的平均RMSE为0.031;与其他三种方法,即卷积神经网络(CNN)、深度残差双向门控循环单元(DRN-BiGRU)和深度卷积自注意力双向门控循环单元(DCNN-Self-Attention-BiGRU)相比,其平均RMSE值分别下降了79%、74%和55%,MAE值分别下降了78%、73%和53%,说明该方法在滚动轴承剩余寿命预测中有较好的性能。 展开更多
关键词 滚动轴承 剩余寿命预测 ConvNeXt网络 双向长短记忆网络 自注意力机制 深度学习 连续小波变换
在线阅读 下载PDF
基于层级注意力模型的视频序列表情识别 被引量:3
4
作者 王晓华 潘丽娟 +3 位作者 彭穆子 胡敏 金春花 任福继 《计算机辅助设计与图形学学报》 EI CSCD 北大核心 2020年第1期27-35,共9页
长短期记忆网络(LSTM)广泛应用于视频序列的人脸表情识别,针对单层LSTM表达能力有限,在解决复杂问题时其泛化能力易受制约的不足,提出一种层级注意力模型:使用堆叠LSTM学习时间序列数据的分层表示,利用自注意力机制构建差异化的层级关系... 长短期记忆网络(LSTM)广泛应用于视频序列的人脸表情识别,针对单层LSTM表达能力有限,在解决复杂问题时其泛化能力易受制约的不足,提出一种层级注意力模型:使用堆叠LSTM学习时间序列数据的分层表示,利用自注意力机制构建差异化的层级关系,并通过构造惩罚项,进一步结合损失函数优化网络结构,提升网络性能.在CK+和MMI数据集上的实验结果表明,由于构建了良好的层次级别特征,时间序列上的每一步都从更感兴趣的特征层级上挑选信息,相较于普通的单层LSTM,层级注意力模型能够更加有效地表达视频序列的情感信息. 展开更多
关键词 视频序列 人脸表情识别 长短记忆网络 自注意力机制
在线阅读 下载PDF
基于MLP和注意力机制BiLSTM的水电机组劣化趋势预测
5
作者 何一纯 李超顺 杨云鹏 《水电能源科学》 北大核心 2025年第3期177-181,100,共6页
水电站因工作时间长、内部结构复杂及运行环境等因素导致水电机组部件逐步老化受损,使电站运行存在重大安全隐患。水电机组劣化趋势预测能反映机组的运行安全,为此提出一种基于多层感知机(MLP)和注意力机制的双向长短时记忆(Attention-B... 水电站因工作时间长、内部结构复杂及运行环境等因素导致水电机组部件逐步老化受损,使电站运行存在重大安全隐患。水电机组劣化趋势预测能反映机组的运行安全,为此提出一种基于多层感知机(MLP)和注意力机制的双向长短时记忆(Attention-BiLSTM)相结合的劣化趋势预测模型(MLP-BiLSTM-Attention),首先将机组各工况数据与各个振摆数据进行相关性分析,获取关键部分之间的高度相关性;然后提取较高相关度特征值并输入改进后的MLP模型构建健康模型,利用实际机组运行数据与健康模型数据构建机组劣化度,劣化度信息输入Attention-BiLSTM预测网络实现劣化度预测;最后通过多种模型对比验证了所提模型的可行性和有效性。 展开更多
关键词 水轮机组 劣化预测 健康模型 多层感知机 双向长短记忆网络
在线阅读 下载PDF
基于TPA‑MBLSTM模型的超短期风电功率预测 被引量:7
6
作者 蔡昌春 范靖浩 +1 位作者 李源佳 何瑶瑶 《电力科学与技术学报》 CAS CSCD 北大核心 2024年第1期47-56,共10页
风速变化的间歇性和波动性给风功率的精准预测带来极大挑战,充分挖掘风电功率与风速等关键因素的内在规律是提高风电功率预测精度的有效途径。提出一种结合时间模式注意力(time pattern attention,TPA)机制的多层堆叠双向长短期记忆网... 风速变化的间歇性和波动性给风功率的精准预测带来极大挑战,充分挖掘风电功率与风速等关键因素的内在规律是提高风电功率预测精度的有效途径。提出一种结合时间模式注意力(time pattern attention,TPA)机制的多层堆叠双向长短期记忆网络的超短期风电功率预测方法。首先,利用基于密度的含噪声空间聚类方法(den⁃sity based spatial clustering with noise,DBSCAN)和线性回归算法进行风功率数据集的异常值检测,利用k最邻近(k⁃nearest neighbor,KNN)插值法重构异常点数据;其次,综合考虑风电功率与各气象特征的内在关联性,在MBLSTM网络中引入TPA机制合理分配时间步长权重,捕捉风电功率时间序列潜在逻辑规律;最后,利用实验仿真数据进行分析验证本文方法的有效性,该方法能够充分挖掘风功率与风速影响因素的关系,从而提高其预测精度。 展开更多
关键词 风电功率预测 时间模式注意力机制 多层堆叠双向长短记忆网络 异常数据检测 基于密度的含噪声空间聚类方法 线性回归
在线阅读 下载PDF
基于BiLSTM的地质片段层位预测方法 被引量:2
7
作者 金相臣 吴子锐 +2 位作者 石敏 朱登明 周军 《高技术通讯》 CAS 2021年第6期607-614,共8页
地质分层是指对某一个地区的地层剖面中的岩层进行划分,可用于指导相应的地质找矿工作。传统的地质分层主要依靠专家根据经验进行人工判断,然而由于地质层位类别繁多,需要消耗大量的时间和人力成本。现有的地质层位自动识别方法,由于没... 地质分层是指对某一个地区的地层剖面中的岩层进行划分,可用于指导相应的地质找矿工作。传统的地质分层主要依靠专家根据经验进行人工判断,然而由于地质层位类别繁多,需要消耗大量的时间和人力成本。现有的地质层位自动识别方法,由于没能考虑到测井数据的序列关系以及地质层位分布的特点,导致识别效果较差。基于此,本文提出了一种改进的双向长短期记忆神经网络(BiLSTM)的地质片段层位预测方法,可以根据测井数据自动快速地进行地质分层预测。该方法首先对测井数据进行分段处理,然后基于片段式的数据对BiLSTM网络进行相应的修改,其充分利用了地质层位片段式分布的特点,且考虑到了测井数据两个方向上的序列相关性。实验结果表明,本文方法在某油田真实井位数据集上的识别准确率达到了93%,相较于其他网络有着显著的效果提升。 展开更多
关键词 双向长短记忆神经网络(BiLSTM) 测井曲线 地质分 位预测
在线阅读 下载PDF
基于深度强化学习的自适应股票交易策略 被引量:2
8
作者 孙志磊 唐俊洋 +4 位作者 丰硕 刘炜 兰雪锋 张文珠 赵澄 《浙江工业大学学报》 CAS 北大核心 2024年第2期188-195,共8页
股票交易策略的制定在金融市场投资中起着至关重要的作用。为帮助投资者在多变复杂的股票市场作出最优决策,降低制定投资策略的难度,基于LSTM-SAC模型构建自适应股票交易策略。首先,将堆叠式长短期记忆网络(Long short-term memory,LSTM... 股票交易策略的制定在金融市场投资中起着至关重要的作用。为帮助投资者在多变复杂的股票市场作出最优决策,降低制定投资策略的难度,基于LSTM-SAC模型构建自适应股票交易策略。首先,将堆叠式长短期记忆网络(Long short-term memory,LSTM)预测的股票收益率与股票历史数据相结合来表示市场状况;其次,根据观测的市场信息强化学习智能体,基于自动熵调节(Soft actor-critic,SAC)进行自我交易决策调整以适应市场变化;最后,以微分夏普比率作为智能体学习的目标函数以平衡利益和风险,同时优化交易频率以降低交易成本。研究结果表明:相较于其他股票交易策略,该策略在道琼斯30和上证50市场均具有较高的年化收益,验证了其在不同市场的有效性和稳定性。 展开更多
关键词 深度强化学习 股票交易策略 长短记忆网络 柔性演员评论家
在线阅读 下载PDF
基于MSLSTM-DA模型的水质自动监测异常数据报警 被引量:9
9
作者 嵇晓燕 姚志鹏 +3 位作者 杨凯 陈亚男 王正 安新国 《中国环境科学》 EI CAS CSCD 北大核心 2022年第4期1877-1883,共7页
提出一种基于多元堆叠长短时记忆网络-差值分析(MSLSTM-DA)模型对地表水质异常数据进行报警的方法.该方法首先建立MSLSTM模型对水质指标数据进行预测,再基于预测结果的残差分布建立DA模型,并确定各个指标的数据异常阈值,当实测数据与预... 提出一种基于多元堆叠长短时记忆网络-差值分析(MSLSTM-DA)模型对地表水质异常数据进行报警的方法.该方法首先建立MSLSTM模型对水质指标数据进行预测,再基于预测结果的残差分布建立DA模型,并确定各个指标的数据异常阈值,当实测数据与预测数据差值大于阈值时进行数据报警.以长江流域监测断面的水质数据进行了方法有效性验证.结果表明,构建的预测模型对5个指标的MAE、MAPE均值比BP神经网络预测模型降低21.0%,17.8%,比LSTM模型降低16.8%,17.9%.皮尔逊系数均值比BP神经网络、LSTM模型的分别高5.9%,4.4%.5个指标共检出水质异常数据37条,其中34条经人工判断确实存在有异常,报警准确率高达91.9%. 展开更多
关键词 长短记忆网络 差值分析 水质异常报警
在线阅读 下载PDF
基于贝叶斯优化的SWDAE-LSTM滚动轴承早期故障预测方法研究 被引量:48
10
作者 石怀涛 尚亚俊 +2 位作者 白晓天 郭磊 马辉 《振动与冲击》 EI CSCD 北大核心 2021年第18期286-297,共12页
针对滚动轴承的早期故障特征较弱,在强噪声背景下难以有效提取以致生命周期很难准确预测的问题,提出了一种基于贝叶斯优化(BO)的滑动窗堆叠去噪自编码器(SWDAE)和长短期记忆(LSTM)网络的早期故障预测模型。使用滑动窗算法保留具有非线... 针对滚动轴承的早期故障特征较弱,在强噪声背景下难以有效提取以致生命周期很难准确预测的问题,提出了一种基于贝叶斯优化(BO)的滑动窗堆叠去噪自编码器(SWDAE)和长短期记忆(LSTM)网络的早期故障预测模型。使用滑动窗算法保留具有非线性特征和时序特征的历史正常数据,输入到模型中进行训练,使模型学习滚动轴承的正常运行状态趋势。将滚动轴承运行的数据输入到训练好的SWDAE-LSTM模型中进行实时在线监控,利用模型的预测值与真实值的残差检测滚动轴承早期故障。针对模型超参数组合选择困难的问题,使用贝叶斯优化算法对模型的超参数进行调优。最后,使用美国辛辛那提大学智能维护中心(IMSCenter)的轴承全生命周期数据以及机械故障综合模拟实验装置获取的数据进行仿真实验验证。结果表明,使用贝叶斯优化算法进行智能调参的模型和基于时域指标的方法对比,可以更早的有效检测出滚动轴承的早期故障并具有很强的鲁棒性。与其余深度学习方法比较,其模型的诊断准确率高于其他方法,进一步证明了其有效性和可靠性。 展开更多
关键词 滚动轴承 早期故障预测 贝叶斯优化(BO) 滑动窗算法 去噪自编码(SWDAE) 长短记忆(LSTM)网络
在线阅读 下载PDF
基于电器运行状态和深度学习的非侵入式负荷分解 被引量:23
11
作者 罗平 樊星驰 +1 位作者 章坚民 李俊杰 《电力系统自动化》 EI CSCD 北大核心 2021年第12期49-56,共8页
根据不同电器运行状态数的差异,将电器分为状态复杂和状态简单2类。状态复杂电器存在多种工作状态,且前后状态有逻辑关联。因此,利用非基于事件的方法,选择能考虑过去和未来运行状态变化的双向长短期记忆网络对其进行分解,并采用树结构P... 根据不同电器运行状态数的差异,将电器分为状态复杂和状态简单2类。状态复杂电器存在多种工作状态,且前后状态有逻辑关联。因此,利用非基于事件的方法,选择能考虑过去和未来运行状态变化的双向长短期记忆网络对其进行分解,并采用树结构Parzen估计算法选择该网络的超参数以提高训练的精度。状态简单电器仅有开关状态,故利用基于事件的方法获得其投切状态,并选择多层感知器网络识别对应电器种类。最后,利用极大似然优化模型求解电器的功率序列。利用参考能量分解数据集对所提方法进行验证,结果表明该方法增强了负荷分解模型的可拓展性和抗噪声能力,在一定程度上提高了负荷分解的精度。 展开更多
关键词 深度学习 双向长短记忆网络 多层感知器网络 超参数优化 非侵入式负荷分解
在线阅读 下载PDF
自注意力机制的短文本分类方法 被引量:14
12
作者 陈立潮 秦杰 +2 位作者 陆望东 潘理虎 张睿 《计算机工程与设计》 北大核心 2022年第3期728-734,共7页
针对短文本信息量少导致隐藏的信息难以充分挖掘和深度学习模型易受干扰导致分类准确度下降的问题,提出一种融合对抗训练自注意力多层双向长短期记忆网络(Con-Att-BiLSTMs)短文本分类模型。将文本训练集按不同比例进行分类对抗训练,通... 针对短文本信息量少导致隐藏的信息难以充分挖掘和深度学习模型易受干扰导致分类准确度下降的问题,提出一种融合对抗训练自注意力多层双向长短期记忆网络(Con-Att-BiLSTMs)短文本分类模型。将文本训练集按不同比例进行分类对抗训练,通过对抗训练提升模型的健壮性;利用多层双向长短期记忆网络对语义进行提取,利用自注意力机制层对语义信息进行加权强化;经过softmax函数使损失率极小化。将该方法与其它模型方法比较,实验结果表明,该方法有效提高了短文本分类的准确度。 展开更多
关键词 深度学习 自注意力机制 短文本分类 对抗训练 多层双向长短记忆网络
在线阅读 下载PDF
改进Bi-LSTM的文本相似度计算方法 被引量:7
13
作者 冯月春 陈惠娟 《计算机工程与设计》 北大核心 2022年第5期1397-1403,共7页
为提高自然语言处理任务中文本相似度检测的准确率,提出一种改进双向长短期记忆网络(Bi-LSTM)的文本相似度计算方法。将输入的句子转换成多个单词向量,通过Bi-LSTM提取出每个单词向量的最佳词特征,引入注意力机制,减小非关键因素的影响... 为提高自然语言处理任务中文本相似度检测的准确率,提出一种改进双向长短期记忆网络(Bi-LSTM)的文本相似度计算方法。将输入的句子转换成多个单词向量,通过Bi-LSTM提取出每个单词向量的最佳词特征,引入注意力机制,减小非关键因素的影响;采用多层相似加权对两个句子分别从词与词、句子与句子、词与句子3个层面进行多层比较,加权得到其最终的相似度;基于SMTeuroparl、MSRvid和MSRpar这3个数据集对所提方法的性能进行评估。实验结果表明,相比于其它方法,所提方法的文本相似度计算更佳,适用于处理复杂的长文本。 展开更多
关键词 文本相似度 深度学习 双向长短记忆网络 注意力机制 多层相似加权 上下文信息
在线阅读 下载PDF
基于再编码的无监督时间序列异常检测模型 被引量:9
14
作者 尹春勇 周立文 《计算机应用》 CSCD 北大核心 2023年第3期804-811,共8页
针对时间序列的数据不平衡和高度复杂的时间相关性导致的异常检测准确率低的问题,以生成对抗网络(GAN)作为基础提出一种基于再编码的无监督时间序列异常检测模型RTGAN。首先,使用具有周期一致性的多个生成器保证生成样本的多样性,从而... 针对时间序列的数据不平衡和高度复杂的时间相关性导致的异常检测准确率低的问题,以生成对抗网络(GAN)作为基础提出一种基于再编码的无监督时间序列异常检测模型RTGAN。首先,使用具有周期一致性的多个生成器保证生成样本的多样性,从而学习不同的异常模式;其次,使用堆叠式LSTM-dropout RNN捕获时间相关性;然后,使用二次编码在潜在空间中比较生成样本和真实样本之间的差异,并将此差异作为再编码误差当作异常分数的一部分,从而提高异常检测的准确率;最后,使用新的异常分数对单变量和多变量时间序列数据集进行异常检测。将所提模型与七种基线异常检测模型在单变量和多变量时间序列上进行了比较。实验结果表明,所提模型在所有数据集上均获得了最高的平均F1值(0.815),并且总体性能分别比原始自编码器(AE)模型Dense-AE和最新的基准模型USAD高出36.29%和8.52%。通过不同的信噪比(SNR)检测模型的健壮性,结果表明所提模型一直优于LSTM-VAE、USAD和OmniAnomaly,尤其在SNR为30%情况下,RTGAN的F1值分别比USAD和OmniAnomaly高出13.53%和10.97%。可见所提模型能有效提高异常检测的准确率和鲁棒性。 展开更多
关键词 生成对抗网络 异常检测 时间序列 长短记忆网络 自编码器 再编码
在线阅读 下载PDF
基于ResNet-BLSTM的端到端语音识别 被引量:11
15
作者 胡章芳 徐轩 +2 位作者 付亚芹 夏志广 马苏东 《计算机工程与应用》 CSCD 北大核心 2020年第18期124-130,共7页
基于深度学习的端到端语音识别模型中,由于模型的输入采用固定长度的语音帧,造成时域信息和部分高频信息损失进而导致识别率不高、鲁棒性差等问题。针对上述问题,提出了一种基于残差网络与双向长短时记忆网络相结合的模型,该模型采用语... 基于深度学习的端到端语音识别模型中,由于模型的输入采用固定长度的语音帧,造成时域信息和部分高频信息损失进而导致识别率不高、鲁棒性差等问题。针对上述问题,提出了一种基于残差网络与双向长短时记忆网络相结合的模型,该模型采用语谱图作为输入,同时在残差网络中设计并行卷积层,提取不同尺度的特征,然后进行特征融合,最后采用连接时序分类方法进行分类,实现一个端到端的语音识别模型。实验结果表明,该模型在Aishell-1语音集上字错误率相较于传统端到端模型的WER下降2.52%,且鲁棒性较好。 展开更多
关键词 残差网络(ResNet) 双向长短记忆网络(BLSTM) 并行卷积 连接时序分类
在线阅读 下载PDF
用于短文本分类的BLSTM_MLPCNN模型 被引量:11
16
作者 郑诚 洪彤彤 薛满意 《计算机科学》 CSCD 北大核心 2019年第6期206-211,共6页
文本表示和文本特征提取是自然语言处理的基础工作,直接影响文本分类的性能。文中提出了以字符级向量联合词向量作为输入的BLSTM_MLPCNN神经网络模型。该模型首先将卷积神经网络(CNN)作用于字符以获取字符级向量,并将字符级向量联合词... 文本表示和文本特征提取是自然语言处理的基础工作,直接影响文本分类的性能。文中提出了以字符级向量联合词向量作为输入的BLSTM_MLPCNN神经网络模型。该模型首先将卷积神经网络(CNN)作用于字符以获取字符级向量,并将字符级向量联合词向量作为预训练词嵌入向量,也即双向长短时记忆网(BLSTM)模型的输入;然后联合BLSTM模型的前向输出、词嵌入向量、后向输出构成文档特征图;最后利用多层感知器卷积神经网络(MLPCNN)进行特征提取。在相关数据集上的实验结果表明:相比于CNN,RNN以及CNN与RNN的组合模型,BLSTM_MLPCNN模型具有更优的分类性能。 展开更多
关键词 字符级向量 词向量 卷积神经网络(CNN) 双向长短记忆神经网络(BLSTM) 多层感知器(MLP) 多层感知器卷积网络(MLPCNN)
在线阅读 下载PDF
融合注意力LSTM的协同过滤推荐算法 被引量:10
17
作者 罗洋 夏鸿斌 刘渊 《中文信息学报》 CSCD 北大核心 2019年第12期110-118,共9页
针对传统协同过滤算法难以学习深层次用户和项目的隐表示,以及对文本信息不能充分提取单词之间的前后语义关系的问题,该文提出一种融合辅助信息与注意力长短期记忆网络的协同过滤推荐模型。首先,附加堆叠降噪自编码器利用评分信息和用... 针对传统协同过滤算法难以学习深层次用户和项目的隐表示,以及对文本信息不能充分提取单词之间的前后语义关系的问题,该文提出一种融合辅助信息与注意力长短期记忆网络的协同过滤推荐模型。首先,附加堆叠降噪自编码器利用评分信息和用户辅助信息提取用户潜在向量;其次,基于注意力机制的长短期记忆网络利用项目辅助信息来提取项目的潜在向量;最后,将用户与项目的潜在向量用于概率矩阵分解中,从而预测用户偏好。在两个真实数据集MovieLens-100k和MovieLens-1M上进行实验,采用RMSE和Recall指标进行评估。实验结果表明,该模型与其他相关推荐算法相比在推荐性能上有所提升。 展开更多
关键词 注意力机制 长短记忆网络 推荐系统 附加降噪自编码器 协同过滤
在线阅读 下载PDF
基于改进LSTM模型的航空安全预测方法研究 被引量:11
18
作者 曾航 张红梅 +2 位作者 任博 崔利杰 武江南 《系统工程与电子技术》 EI CSCD 北大核心 2022年第2期569-576,共8页
精确的航空安全预测是科学开展安全预警的前提。航空事故不仅致因机理复杂,还存在迟滞效应,给安全样本时序信息的深度挖掘加大了难度。基于此,提出一种基于改进长短期记忆(long short-term memory,LSTM)模型的航空安全预测新方法。首先... 精确的航空安全预测是科学开展安全预警的前提。航空事故不仅致因机理复杂,还存在迟滞效应,给安全样本时序信息的深度挖掘加大了难度。基于此,提出一种基于改进长短期记忆(long short-term memory,LSTM)模型的航空安全预测新方法。首先基于相关系数热图优选致因指标,再以步进搜索和Adam算法相结合的方式优化LSTM模型超参数,最后以2019年某型运输机事故数据为算例,选取多种常用时序预测模型作为对照。实验结果表明本文所提方法,预测误差较现有方法降低了28%以上,同时具有较好的泛化能力和鲁棒性。 展开更多
关键词 航空安全 神经网络 长短记忆 多步预测
在线阅读 下载PDF
自注意力机制的短文本分类算法 被引量:7
19
作者 姚苗 杨文忠 +1 位作者 袁婷婷 马国祥 《计算机工程与设计》 北大核心 2020年第6期1592-1598,共7页
分析目前的短文本分类算法没有综合考虑文本中隐含的依赖关系和局部关键信息这一问题,提出基于自注意力机制(self-attention mechanism)的堆叠双向长短时记忆网络(stack bidirectional long short term memory)模型(简称Att-BLSTMs)。利... 分析目前的短文本分类算法没有综合考虑文本中隐含的依赖关系和局部关键信息这一问题,提出基于自注意力机制(self-attention mechanism)的堆叠双向长短时记忆网络(stack bidirectional long short term memory)模型(简称Att-BLSTMs)。利用stack Bi-LSTMs捕获上下文隐藏依赖关系,优化短文本特征稀疏的问题;利用自注意力机制加大对短文本中局部关键信息的注意力,优化文本表示。在公开AG-news网页新闻的语料和DBpedia分类数据集中,进行丰富的对比实验。实验结果表明,该模型将文本中隐含依赖关系与局部关键信息综合考虑后,有效提高了短文本分类的准确性。 展开更多
关键词 短文本分类 深度学习 自注意力机制 双向长短记忆网络模型 微平均 宏平均
在线阅读 下载PDF
结合自注意力和残差的BiLSTM_CNN文本分类模型 被引量:20
20
作者 杨兴锐 赵寿为 +2 位作者 张如学 杨兴俊 陶叶辉 《计算机工程与应用》 CSCD 北大核心 2022年第3期172-180,共9页
双向长短期记忆网络(BiLSTM)和卷积神经网络(CNN)很难在文本的多分类任务中提取到足够的文本信息。提出了一种基于自注意力机制(self_attention)和残差网络(ResNet)的BiLSTM_CNN复合模型。通过自注意力赋予卷积运算后信息的权重,接着将... 双向长短期记忆网络(BiLSTM)和卷积神经网络(CNN)很难在文本的多分类任务中提取到足够的文本信息。提出了一种基于自注意力机制(self_attention)和残差网络(ResNet)的BiLSTM_CNN复合模型。通过自注意力赋予卷积运算后信息的权重,接着将池化后的特征信息层归一化并接入残差网络,让模型学习到残差信息,从而进一步提高模型的分类性能。在模型的运算过程中,使用了更加光滑的Mish非线性激活函数代替Relu。通过与深度学习模型对比,所提出的方法在准确率以及F1值评价指标上均优于现有模型,为文本分类问题提供了新的研究思路。 展开更多
关键词 自注意力机制 双向长短记忆网络 残差网络 卷积神经网络 归一化
在线阅读 下载PDF
上一页 1 2 下一页 到第
使用帮助 返回顶部