注意力机制下的VMD-IDBiGRU负荷预测模型 被引量：11

1

作者 邵必林 严义川 曾卉玢 《电力系统及其自动化学报》 CSCD 北大核心 2022年第10期120-128,共9页

针对传统神经网络在负荷预测中精度欠佳、预测速度较慢的问题,提出一种基于注意力机制、变分模态分解和改进的深度双向门控循环单元短期负荷预测模型。该模型首先通过变分模态分解算法将负荷数据分解,以降低原始负荷数据的复杂度。然后... 针对传统神经网络在负荷预测中精度欠佳、预测速度较慢的问题,提出一种基于注意力机制、变分模态分解和改进的深度双向门控循环单元短期负荷预测模型。该模型首先通过变分模态分解算法将负荷数据分解,以降低原始负荷数据的复杂度。然后:针对传统分解加预测组合模型存在参数多、模型复杂的问题,基于权值共享的思想建立改进的深度双向门控循环单元神经网络;引入注意力机制来突出关键因素的影响,通过注意力权重深度挖掘负荷数据存在的规律。最后,以中国某地区的负荷数据作为实例,通过与传统预测模型进行对比得出,本文所提模型在精度和速度方面均有一定的提升。 展开更多

关键词 注意力机制 变分模态分解 双向门控循环单元 权值共享 负荷预测

在线阅读 下载PDF 职称材料

基于BiGRU-attention神经网络的文本情感分类模型 被引量：71

2

作者 王伟 孙玉霞 +1 位作者 齐庆杰 孟祥福 《计算机应用研究》 CSCD 北大核心 2019年第12期3558-3564,共7页

针对双向长短时记忆神经(BiLSTM)模型训练时间长、不能充分学习文本上下文信息的问题,提出一种基于BiGRU-attention的文本情感分类模型。首先,利用双向门控循环(BiGRU)神经网络层对文本深层次的信息进行特征提取;其次,利用注意力机制(at... 针对双向长短时记忆神经(BiLSTM)模型训练时间长、不能充分学习文本上下文信息的问题,提出一种基于BiGRU-attention的文本情感分类模型。首先,利用双向门控循环(BiGRU)神经网络层对文本深层次的信息进行特征提取;其次,利用注意力机制(attention)层对提取的文本深层次信息分配相应的权重;最后,将不同权重的文本特征信息放入softmax函数层进行文本情感极性分类。实验结果表明,所提的神经网络模型在IMDB数据集上的准确率是90. 54%,损失率是0. 2430,时间代价是1100 s,验证了BiGRU-attention模型的有效性。 展开更多

关键词 文本情感分类 注意力机制 双向门控循环神经网络

在线阅读 下载PDF 职称材料

结合BERT与BiGRU-Attention-CRF模型的地质命名实体识别 被引量：21

3

作者 谢雪景 谢忠 +5 位作者 马凯 陈建国 邱芹军 李虎 潘声勇 陶留锋 《地质通报》 CAS CSCD 北大核心 2023年第5期846-855,共10页

从地质文本中提取地质命名实体,对地质大数据的深度挖掘与应用具有重要意义。定义了地质命名实体的概念并制订了标注规范,设计了地质实体对象化表达模型。地质文本存在大量长实体、复杂嵌套实体,增加了地质命名实体识别的挑战性。针对... 从地质文本中提取地质命名实体,对地质大数据的深度挖掘与应用具有重要意义。定义了地质命名实体的概念并制订了标注规范,设计了地质实体对象化表达模型。地质文本存在大量长实体、复杂嵌套实体,增加了地质命名实体识别的挑战性。针对上述问题,①引入BERT模型生成顾及上下文信息的高质量词向量表征;②采用双向门控循环单元-注意力机制-条件随机场(BiGRU-Attention-CRF)对前一层输出的语义编码进行序列标注与解码。通过与主流深度学习模型进行对比,该模型的F1值为84.02%,均比其他模型表现出更优异的性能,能在小规模地质语料库上有较好的识别效果。 展开更多

关键词 命名实体识别 地质命名实体 BERT 注意力机制 bigru

在线阅读 下载PDF 职称材料

面向家居用户行为预测的Bi GRU-DAtt模型研究 被引量：9

4

作者 徐雅芸 曾碧 +1 位作者 梁天恺 廖文雄 《计算机工程与应用》 CSCD 北大核心 2020年第12期237-242,共6页

针对目前智能家居用户行为预测方法准确率低、通用性差以及缺乏人性化的问题,提出一种基于Bi GRUDAtt模型的智能家居用户行为预测方法。该方法根据智能家居用户操控行为数据具有服从幂律分布与对称性两大特点,基于双向门控循环(Bi GRU)... 针对目前智能家居用户行为预测方法准确率低、通用性差以及缺乏人性化的问题,提出一种基于Bi GRUDAtt模型的智能家居用户行为预测方法。该方法根据智能家居用户操控行为数据具有服从幂律分布与对称性两大特点,基于双向门控循环(Bi GRU)神经网络挖掘用户操控行为之间的关系,基于注意力机制重点关注一定范围内具有对称性的操控行为,使用真实用户操控记录进行对比实验。结果表明该方法能够充分挖掘用户操控智能设备之间的关联关系以及用户的行为习惯,实现高准确率的用户行为预测。 展开更多

关键词 智能家居 双向门控循环神经网络 注意力机制 行为预测

在线阅读 下载PDF 职称材料

融合自注意力机制和BiGRU网络的微博情感分析模型 被引量：15

5

作者 陈亚茹 陈世平 《小型微型计算机系统》 CSCD 北大核心 2020年第8期1590-1595,共6页

基于微博文本的情感分析已经成为近些年的研究热点.为了更有效分析微博文本的情感极性,实现将表情符的情感表现加入到文本分类的任务中,提出了一种将深度学习与情感符号相结合的学习方法.该方法利用双向门控循环(BiGRU)神经网络对文本... 基于微博文本的情感分析已经成为近些年的研究热点.为了更有效分析微博文本的情感极性,实现将表情符的情感表现加入到文本分类的任务中,提出了一种将深度学习与情感符号相结合的学习方法.该方法利用双向门控循环(BiGRU)神经网络对文本进行特征提取,然后利用自注意力机制对文本和表情符号的向量表示进行特征提取,最后通过softmax识别出最终的情感极性.本文采集了三种微博语料集,实验结果表明,与融合表情符的自注意力机制和BiLSTM模型和与仅输入纯文本的自注意力机制和BiGRU模型相比,融合表情符号的自注意力机制和BiGRU网络模型有效地提高了情感分类的准确率. 展开更多

关键词 情感分析 表情符 自注意力机制 双向门控循环神经网络

在线阅读 下载PDF 职称材料

一种基于Bi-GRU的卫星对地观测任务可调度性预测方法 被引量：5

6

作者 陈浩 罗棕 +2 位作者 杜春 彭双 李军 《湖南大学学报（自然科学版）》 EI CAS CSCD 北大核心 2021年第6期88-95,共8页

针对现有卫星观测任务可调度性预测模型难以建模长时间间隔的观测任务依赖关系的问题,提出一种基于双向门控循环单元(Bidirectional Gated Recurrent Unit,Bi-GRU)的卫星对地观测任务可调度性预测模型.该模型以卫星历史规划方案作为学... 针对现有卫星观测任务可调度性预测模型难以建模长时间间隔的观测任务依赖关系的问题,提出一种基于双向门控循环单元(Bidirectional Gated Recurrent Unit,Bi-GRU)的卫星对地观测任务可调度性预测模型.该模型以卫星历史规划方案作为学习样本,能够以较低计算代价较高准确率地预测出对地观测任务集合中可以被响应的子集.该模型首先通过多层全连接感知机神经网络提取任务属性间的关联关系,然后采用多组多层双向门控循环单元组成的循环神经网络提取观测任务与其前驱及后继观测任务序列的潜在时序特征,最后融合各组双向门控循环单元的预测结果,从而利用观测任务之间的正向与反向信息依赖关系提升任务可调度性预测准确度.实验结果表明,与现有主流预测模型相比,本文提出方法在准确率、精确率、召回率和F_(1)分数等指标上分别提升了2.27%、2.36%、3.45%和2.37%. 展开更多

关键词 对地观测卫星 任务可调度性 循环神经网络 预测 双向门控循环单元

在线阅读 下载PDF 职称材料

基于对抗双向GRU网络的跨语言情感分类方法 被引量：2

7

作者 李雪芹 杨文丽 李娜娜 《计算机应用与软件》 北大核心 2024年第1期82-88,共7页

为了提高资源匮乏语言的情感分类性能,提出一种基于对抗双向GRU网络相结合的跨语言情感分类模型(ABi-GRU)。通过基于语义双语词嵌入方法来提取中英文文本词向量特征;结合注意力机制的双向GRU网络提取文本的上下文情感特征,同时引入生成... 为了提高资源匮乏语言的情感分类性能,提出一种基于对抗双向GRU网络相结合的跨语言情感分类模型(ABi-GRU)。通过基于语义双语词嵌入方法来提取中英文文本词向量特征;结合注意力机制的双向GRU网络提取文本的上下文情感特征,同时引入生成对抗网络缩小中英文向量特征分布之间的差距;通过情感分类器进行情感分类。实验结果分析表明,该方法有效地提升了跨语言情感分类的准确率。 展开更多

关键词 跨语言情感分类 注意力机制 生成对抗网络 双向gru网络

在线阅读 下载PDF 职称材料

基于双向门控循环单元网络的心音分段

8

作者 卢官明 许梦悦 +3 位作者 卢峻禾 戚继荣 赵宇航 王洋 《南京邮电大学学报(自然科学版)》 北大核心 2025年第3期58-66,共9页

为了提高心音分段的定位精度和准确率,提出一种基于双向门控循环单元(Bi‑directional Gated Recurrent Unit,Bi‑GRU)网络的心音分段算法。首先,采用短时傅里叶变换(Short‑Time Fou‑rier Transform,STFT)和同步挤压变换(Synchrosqueezing... 为了提高心音分段的定位精度和准确率,提出一种基于双向门控循环单元(Bi‑directional Gated Recurrent Unit,Bi‑GRU)网络的心音分段算法。首先,采用短时傅里叶变换(Short‑Time Fou‑rier Transform,STFT)和同步挤压变换(Synchrosqueezing Transform,SST)技术提取各个时间步短时窗口内心音信号的瞬时频率特征;然后,将各个时间步提取的瞬时频率特征构成序列并输入到Bi‑GRU网络,利用Bi‑GRU网络挖掘特征序列的上下文依赖关系,提取心音信号的上下文时频特征;最后,使用Softmax分类器将心音信号分成第一心音(S1)、第二心音(S2)、S1‑S2间期、S2‑S1间期4种状态类别。在PhysioNet/CinC Challenge 2016数据集上的实验结果表明,提出的心音分段算法总体准确率为93.30%,S1状态的平均F1得分为0.9538,S2状态的平均F1得分为0.9450,优于基线心音分段算法LR‑HSMM的性能指标,验证了该算法能有效地对心音信号进行分段,为心音信号的特征提取与分析提供了基础。 展开更多

关键词 心音分段 短时傅里叶变换 同步挤压变换 双向门控循环单元

在线阅读 下载PDF 职称材料

基于区块链技术的智能能源网络安全通信与入侵检测方法研究

9

作者 张宗包 郝蛟 谢天 《中国测试》 北大核心 2025年第S1期289-295,共7页

智能电网是现代电力系统的重要组成部分,其复杂性和互联性带来数据传输和存储的安全挑战。传统的安全措施难以应对日益增长的网络威胁,因此,该文提出一种基于区块链和深度学习的智能能源网络安全通信与入侵检测方法。应用区块链技术提... 智能电网是现代电力系统的重要组成部分,其复杂性和互联性带来数据传输和存储的安全挑战。传统的安全措施难以应对日益增长的网络威胁,因此,该文提出一种基于区块链和深度学习的智能能源网络安全通信与入侵检测方法。应用区块链技术提高数据交易的透明度和不可篡改性,构建数字孪生驱动的网络模型。通过应用深度学习算法于入侵检测,提出一种基于自注意机制的双向门控循环单元检测方法,并通过混淆矩阵和接收者操作特性曲线对其性能进行评估。实验结果表明,双向门控循环单元模型在入侵检测任务中达到99.73%的准确率、97.3%的精确度、97.95%的检测率。与传统的长短期记忆网络和门控循环单元相比,双向门控循环单元在各项性能指标上均表现出显著优势。 展开更多

关键词 智能能源网络 网络安全通信 区块链 深度学习算法 双向门控循环单元

在线阅读 下载PDF 职称材料

融合双向GRU与注意力机制的医疗实体关系识别 被引量：15

10

作者 张志昌 周侗 +1 位作者 张瑞芳 张敏钰 《计算机工程》 CAS CSCD 北大核心 2020年第6期296-302,共7页

传统的实体关系识别方法多数是以单个句子作为处理单元,难以解决训练语料中实体关系标签标注错误的问题,且没有充分利用包含实体信息的多个句子在分类实体关系时的相互增强作用。为此,提出一种双向门控循环单元(GRU)和双重注意力机制结... 传统的实体关系识别方法多数是以单个句子作为处理单元,难以解决训练语料中实体关系标签标注错误的问题,且没有充分利用包含实体信息的多个句子在分类实体关系时的相互增强作用。为此,提出一种双向门控循环单元(GRU)和双重注意力机制结合的中文电子病历医疗实体关系识别方法。构建BiGRU-Dual Attention模型,采用双向GRU学习字的上下文信息,以获取更细粒度的特征,通过引入字级注意力机制提高对关系识别起决定作用的字权重,同时利用句子级注意力机制从多个句子中获取可增强识别性能的特征,降低标注错误的句子对分类的影响。实验结果表明,与BiLSTM-Attention模型相比,该模型的F1值提高了3.97%,达到了82.17%。 展开更多

关键词 中文电子病历 医疗实体关系抽取 双向门控循环单元 双重注意力机制 深度学习

在线阅读 下载PDF 职称材料

基于Bagging的双向GRU集成神经网络短期负荷预测 被引量：14

11

作者 王康 张智晟 +1 位作者 撖奥洋 于立涛 《电力系统及其自动化学报》 CSCD 北大核心 2021年第10期24-30,共7页

为了提高电力系统短期负荷的预测精度,提出了一种基于Bagging算法的双向加权门控循环单元GRU(gated recurrent unit)集成神经网络短期负荷预测模型。对双向门控循环单元BiGRU(bidirectional gated recurrent unit)神经网络两个方向的隐... 为了提高电力系统短期负荷的预测精度,提出了一种基于Bagging算法的双向加权门控循环单元GRU(gated recurrent unit)集成神经网络短期负荷预测模型。对双向门控循环单元BiGRU(bidirectional gated recurrent unit)神经网络两个方向的隐含层状态进行加权求和处理,使得对负荷点的预测可以同时考虑过去和未来的信息。通过Bagging算法对双向加权GRU神经网络进行集成处理来提高模型的泛化能力。按照某地区真实负荷数据,并与反向传播BP(back propagation)神经网络、长短期记忆LSTM(long short-term memory)神经网络、单向GRU神经网络和双向GRU神经网络进行对比可以得出,所提模型有更好的预测效果。 展开更多

关键词 短期负荷预测 双向加权门控循环单元神经网络 BAGGING算法 电力系统 预测精度

在线阅读 下载PDF 职称材料

基于多尺度时空特征与软注意力机制的交通流预测方法 被引量：1

12

作者 史昕 曹凤腾 +1 位作者 纪艺 马峻岩 《计算机工程》 CAS CSCD 北大核心 2024年第12期346-357,共12页

交通流预测在规划交通系统、优化道路资源和缓解交通拥堵等方面具有重要意义。针对交通流预测中时间周期性特征提取不充分的问题,提出一种基于多尺度时空特征和软注意力机制的交通流预测方法MSTFSA。首先,利用图交谈注意力网络(GTHAT)... 交通流预测在规划交通系统、优化道路资源和缓解交通拥堵等方面具有重要意义。针对交通流预测中时间周期性特征提取不充分的问题,提出一种基于多尺度时空特征和软注意力机制的交通流预测方法MSTFSA。首先,利用图交谈注意力网络(GTHAT)提取空间数据的非欧几里得结构特征,通过分配动态权重表征不同时间相邻道路交通流的影响程度;其次,利用双向增强注意力门控循环单元(Bi-EAGRU)结构提取时间数据的连续性关联特征,增强每个时刻的时间特征与上下时刻的联系;然后,基于软注意力机制融合周周期、日周期和近邻时间3个尺度下的相似交通流趋势,实现对时间周期性特征的充分提取,最后,结合高速公路数据集PeMS04和PeMS08验证MSTFSA的预测精度。实验结果表明,MSTFSA的交通流预测精度表现出良好效果,与基线模型STSGCN和ASTGCN相比,在PeMS04数据集上的预测均方根误差(RMSE)分别降低7.15%和3.8%,平均绝对误差(MAE)分别降低7.79%和3.99%。MSTFSA能较充分地提取并融合交通数据的多时间尺度时空特征,在交通流预测精度提升方面表现出一定的优势。 展开更多

关键词 交通流预测 时空域联合 图注意力网络 软注意力机制 双向门控循环单元

在线阅读 下载PDF 职称材料

基于深度学习模型的智能化科室导诊 被引量：3

13

作者 顾君杰 王蓓 +1 位作者 李晓禹 邹俊忠 《计算机工程与设计》 北大核心 2024年第1期153-158,共6页

为减轻科室导诊人员的工作负荷,对智能化科室导诊的实现方法进行研究。区别于现有的导诊方式,提出一种少参数轻量化的多级科室导诊模型。结合ALBERT预训练解决现有算法参数量过大的问题,并关联多个相关科室,建立ALBERT预训练与Bi-GRU结... 为减轻科室导诊人员的工作负荷,对智能化科室导诊的实现方法进行研究。区别于现有的导诊方式,提出一种少参数轻量化的多级科室导诊模型。结合ALBERT预训练解决现有算法参数量过大的问题,并关联多个相关科室,建立ALBERT预训练与Bi-GRU结合的多标签分类模型。通过在互联网医院问诊数据集上的测试,与单科室分类模型对比,验证了该多科室分类模型的预测结果具备可靠性和有效性,能够较好辅助科室导诊工作。 展开更多

关键词 科室导诊 多标签 文本预训练 双向门控循环单元 文本分类 深度学习 自然语言处理

在线阅读 下载PDF 职称材料

基于两阶段动态兴趣识别的购买行为预测模型 被引量：2

14

作者 张春雪 仇丽青 +1 位作者 孙承爱 荆彩霞 《计算机应用》 CSCD 北大核心 2024年第8期2365-2371,共7页

在线购买预测旨在预测用户的购买行为,为购物网站带来可观的商业价值。针对传统模型学习用户历史行为中隐含的兴趣偏好不准确的问题,提出基于两阶段动态兴趣识别的购买行为预测模型,以预测用户购买商品的概率。首先,模型的第一阶段构建... 在线购买预测旨在预测用户的购买行为,为购物网站带来可观的商业价值。针对传统模型学习用户历史行为中隐含的兴趣偏好不准确的问题,提出基于两阶段动态兴趣识别的购买行为预测模型,以预测用户购买商品的概率。首先,模型的第一阶段构建用户-商品的点击频率图,并利用轻量图卷积网络(LightGCN)学习图的上下文特征作为用户的静态兴趣表征;其次,第二阶段采用带有注意力机制的双向门控递归单元(Bi-GRU)探索用户偏好的转化过程;最后,针对潜在的高维特征,建立一个融合动态兴趣和隐含特征的购买预测模型。在2个真实电子商务数据集上的实验结果表明,所提模型与图卷积网络(GCN)模型相比,准确率至少提升0.3个百分点,F1分数至少提升了2.05个百分点。 展开更多

关键词 电子商务 在线购买预测 轻量图卷积神经网络 双向门控递归单元 高阶兴趣上下文特征

在线阅读 下载PDF 职称材料

基于数据与模型联合驱动的波阻抗反演方法 被引量：2

15

作者 桑文镜 袁三一 +3 位作者 丁智强 于越 刘浩杰 韩智颖 《地球物理学报》 SCIE EI CAS CSCD 北大核心 2024年第2期696-710,共15页

井插值初始模型为基于模型的反演提供的低频信息往往不够准确,导致该模型驱动方法容易出现较大的波阻抗预测误差且建模效率较低.为缓解这些问题,本文利用数据驱动的深度学习反演更加擅长预测低频阻抗的优势,提出一种基于数据与模型联合... 井插值初始模型为基于模型的反演提供的低频信息往往不够准确,导致该模型驱动方法容易出现较大的波阻抗预测误差且建模效率较低.为缓解这些问题,本文利用数据驱动的深度学习反演更加擅长预测低频阻抗的优势,提出一种基于数据与模型联合驱动的波阻抗反演方法.该方法联合地震和测井等数据,先后开展数据驱动和模型驱动的波阻抗反演.首先,数据驱动部分使用井旁地震记录、测井导出的波阻抗曲线以及井插值低频阻抗曲线,搭建以双向门控递归单元为主要模块的波阻抗智能预测网络.其次,该网络预测的波阻抗的低频分量作为数据驱动初始模型,替代井插值初始模型而参与模型驱动部分.最后,模型驱动部分在地震数据匹配和数据驱动初始模型的共同约束下开展基于模型的反演,获得最终的波阻抗结果.合成数据和实际数据测试表明,本文方法相比于单一的数据驱动或模型驱动方法能获得更高分辨率和更高精度的波阻抗反演结果,从而为后续储层预测提供可靠的弹性参数分布. 展开更多

关键词 数据与模型联合驱动 波阻抗反演 初始模型 井震联合 双向门控递归单元

在线阅读 下载PDF 职称材料

基于语言学特征与层次注意力机制的幽默识别 被引量：3

16

作者 杨勇 杨亮 +2 位作者 邹艳波 任鸽 樊小超 《计算机工程》 CAS CSCD 北大核心 2020年第8期64-71,共8页

结合英文幽默语言学特征,提出基于语音、字形和语义的层次注意力神经网络模型(PFSHAN)进行幽默识别。在特征提取阶段,将幽默文本表示为音素、字符以及携带歧义性等级信息的语义形式,分别采用卷积神经网络、双向门控循环单元和注意力机... 结合英文幽默语言学特征,提出基于语音、字形和语义的层次注意力神经网络模型(PFSHAN)进行幽默识别。在特征提取阶段,将幽默文本表示为音素、字符以及携带歧义性等级信息的语义形式,分别采用卷积神经网络、双向门控循环单元和注意力机制提取PFSHAN模型的语音、字形和语义特征。在特征融合阶段,针对不同单词对幽默语言学特征的贡献程度不同,且不同幽默语言学特征和语句之间关联程度不同的问题,采用层次注意力机制调整不同幽默语言学特征对于PFSHAN模型性能的影响。在Puns和Onliner数据集上的实验结果表明,PFSHAN模型的F1值分别为91.03%和91.11%,能有效提高幽默识别性能。 展开更多

关键词 幽默识别 注意力机制 卷积神经网络 双向门控循环单元 语言学特征

在线阅读 下载PDF 职称材料

面向社交媒体评论的上下文语境讽刺检测模型 被引量：6

17

作者 韩虎 赵启涛 +1 位作者 孙天岳 刘国利 《计算机工程》 CAS CSCD 北大核心 2021年第1期66-71,共6页

讽刺是日常交际中一种常见的语用现象,能够丰富说话者的观点并间接地表达说话者的深层含义。讽刺检测任务的研究目标是挖掘目标语句的讽刺倾向。针对讽刺语境表达变化多样以及不同用户、不同主题下的讽刺含义各不相同等特征,构建融合用... 讽刺是日常交际中一种常见的语用现象,能够丰富说话者的观点并间接地表达说话者的深层含义。讽刺检测任务的研究目标是挖掘目标语句的讽刺倾向。针对讽刺语境表达变化多样以及不同用户、不同主题下的讽刺含义各不相同等特征,构建融合用户嵌入与论坛主题嵌入的上下文语境讽刺检测模型。该模型借助ParagraphVector方法的序列学习能力对用户评论文档与论坛主题文档进行编码,从而获取目标分类句的用户讽刺特征与主题特征,并利用一个双向门控循环单元神经网络得到目标句的语句编码。在标准讽刺检测数据集上进行的实验结果表明,与传统Bag-of-Words、CNN等模型相比,该模型能够有效提取语句的上下文语境信息,具有较高的讽刺检测分类准确率。 展开更多

关键词 自然语言处理 上下文语境讽刺检测 深度学习 ParagraphVector模型 双向门控循环单元模型

在线阅读 下载PDF 职称材料

面向并购重组类公告的信息抽取 被引量：2

18

作者 黄胜 李胜 朱菁 《计算机工程与设计》 北大核心 2020年第5期1420-1426,共7页

并购重组类公告是上市公司进行信息披露的重要组成,属于具有一定格式规范的自由长文本。针对公告文本特点,借鉴降维思想,提出规则法和序列标注法相结合的联合信息抽取方案。采用规则法,抽取关键句子集合,将“篇章级”抽取缩小为“句子... 并购重组类公告是上市公司进行信息披露的重要组成,属于具有一定格式规范的自由长文本。针对公告文本特点,借鉴降维思想,提出规则法和序列标注法相结合的联合信息抽取方案。采用规则法,抽取关键句子集合,将“篇章级”抽取缩小为“句子级”抽取;采用序列标注法,构建基于双向门控循环(BiGRU)网络和注意力机制(Attention)的序列标注模型,实现“句子级”到“字段级”的抽取。实验结果表明,该方案在并购重组类公告信息抽取任务中,取得了平均F1值0.92的较好结果,验证其具有一定的可行性和实用性。 展开更多

关键词 信息抽取 自由长文本 规则法 序列标注法 双向门控循环网络 注意力机制

在线阅读 下载PDF 职称材料

基于多粒度自注意力机制的抑郁症预测模型 被引量：2

19

作者 谭朋柳 张露玉 +1 位作者 徐光勇 徐滕 《计算机应用》 CSCD 北大核心 2023年第S02期34-40,共7页

针对基于稀疏文本的抑郁症预测模型特征提取能力不足的问题,提出一种基于分层多粒度自注意网络(HMG-SAN)的模型。首先,通过全局向量(GloVe)模型获取词向量,解决词语和语句的向量化表示的问题;然后通过双向门控循环单元(Bi-GRU)获取文本... 针对基于稀疏文本的抑郁症预测模型特征提取能力不足的问题,提出一种基于分层多粒度自注意网络(HMG-SAN)的模型。首先,通过全局向量(GloVe)模型获取词向量,解决词语和语句的向量化表示的问题;然后通过双向门控循环单元(Bi-GRU)获取文本结构中的词序信息和文本特征,解决提取上下文依赖的特征信息的问题;再通过多粒度自注意力(MG-SA)机制识别不同特征,解决不同粒度短语信息捕捉的问题;最后使用softmax函数获取分类结果。HMG-SAN模型的亮点在于MG-SA机制的融入,对于捕获文本重要词汇提供了很大帮助。在遇险分析访谈语料库(DAIC)数据集上与基于分层注意力网络(HAN)的模型和分层自注意力网络(HSAN)的模型进行对比实验,实验结果表明,所提模型的准确率和召回率均有显著提升,其中,准确率分别提升了2.74%和1.35%,召回率分别提升了7.35%和4.29%。可见,HMG-SAN模型可以更加准确地捕获受访者的抑郁状态,并以此进行更加高效的抑郁症预测。 展开更多

关键词 文本分类 多粒度自注意力机制 双向门控循环单元 深度神经网络 抑郁症预测

在线阅读 下载PDF 职称材料

基于句法和全文信息增强的中文事件检测方法 被引量：1

20

作者 王红 吴浩正 《数据采集与处理》 CSCD 北大核心 2022年第5期1059-1069,共11页

针对目前中文事件检测中词语之间句法依存关系利用不充分和缺乏文章全局语义信息的问题,提出了一种基于句法和全文信息增强的中文事件检测模型。模型首先引入图卷积网络(Graph convolutional network,GCN),通过捕获词语之间的依存句法... 针对目前中文事件检测中词语之间句法依存关系利用不充分和缺乏文章全局语义信息的问题,提出了一种基于句法和全文信息增强的中文事件检测模型。模型首先引入图卷积网络(Graph convolutional network,GCN),通过捕获词语之间的依存句法关系来增强词语的特征表示。之后采用双向门控循环单元(Bidirectional gate recurrent unit,Bi-GRU)分别学习句子内和句子之间的上下文信息,得到包含文章全局信息的句向量。最后将字、词、句3个粒度的信息通过门结构进行动态融合,使用条件随机场(Conditional random field,CRF)完成对句子中触发词的识别和标注。在ACE2005和CEC中文数据集上的实验结果表明,本文方法有效提升了中文事件检测的效果。 展开更多

关键词 事件检测 依存句法分析 特征增强 全文信息 图卷积神经网络 双向门控循环单元

在线阅读 下载PDF 职称材料