-
题名基于位置感知能力胶囊网络的实体关系提取
被引量：1
- 1
-
-
作者
刘博闻
范春晓
-
机构
北京邮电大学电子工程学院
-
出处
《计算机工程与应用》
CSCD
北大核心
2021年第6期101-107,共7页
-
文摘
目前实体关系提取大都使用卷积神经网络(CNN)和循环神经网络(RNN)。但CNN和RNN均以标量形式进行特征表达,对位置信息的敏感度不够理想。同时,CNN和RNN的最大池化(max-pooling)导致特征信息丢失。针对这两个问题,引入胶囊网络(CapsuleNet),构建了具备位置感知能力的Position Perception CapsuleNet(PPCNet)。胶囊(Capsule)是一组神经元,特征表达基于向量形式。PPCNet将词间的位置关系转化为位置向量(position embedding)融入Capsule以获得位置感知能力。此外,PPCNet使用动态路由(Dynamic routing)替代池化,以减少特征损失,在SemEval-2010task8数据集上得到82.84%的F1值。
-
关键词
自然语言处理
实体关系提取
胶囊网络(capsulenet)
位置感知能力
PPCNet
-
Keywords
Natural Language Processing(NLP)
relation extraction
capsulenet
position perception
Position Perception capsulenet(PPCNet)
-
分类号
TP181
[自动化与计算机技术—控制理论与控制工程]
-
-
题名基于多任务联合学习的入侵检测方法
- 2
-
-
作者
刘源
刘胜全
刘艳
-
机构
新疆大学信息科学与工程学院
-
出处
《东北师大学报（自然科学版）》
CAS
北大核心
2022年第1期72-78,共7页
-
基金
工信部新疆工业互联网态势感知平台项目(TZXD-S-P-xjtszh01)
新疆维吾尔自治区新疆网信科创课题研究项目(12021605).
-
文摘
针对目前大多数的网络入侵检测方法存在模型泛化能力较弱以及训练数据集类别不平衡等问题,考虑到网络流量同时具有时间性与空间性的特点,提出了一种基于多任务联合学习的入侵检测方法.首先对数据流量进行预处理,并将数据通过注意力层初始化其权重分布;然后通过胶囊网络(CapsuleNet)与简单循环单元(SRU)分别提取流量数据的空间局部特征与时序特征,并通过辅助任务微调隐层参数,优化少数类样本的识别;最终将特征经过融合后由softmax分类器分类.实验选用CICIDS2017数据集,同时对比了本文方法与其他方法的查准率、召回率与F1.结果表明,本文方法相比另外其他方法的查准率、召回率、F1值均有较好地提升,F1值达到99.51%.
-
关键词
入侵检测
数据增强
胶囊网络
SRU
多任务学习
-
Keywords
intrusion detection
data enhancement
capsulenet
SRU
MT learning
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名基于联合模型的多标签文本分类研究
被引量：23
- 3
-
-
作者
刘心惠
陈文实
周爱
陈飞
屈雯
鲁明羽
-
机构
大连海事大学信息科学技术学院
-
出处
《计算机工程与应用》
CSCD
北大核心
2020年第14期111-117,共7页
-
基金
国家自然科学基金(No.61272369)。
-
文摘
目前大部分多标签文本分类算法忽视文本序列中不同词的重要程度、不同层次文本特征的影响,提出一种ATT-Capsule-BiLSTM模型,使用多头注意力机制(Multi-head Attention),结合胶囊网络(CapsuleNet)与双向长短期记忆网络(BiLSTM)方法。将文本序列向量化表示,在词向量的基础上通过多头注意力机制学习单词的权重分布。通过胶囊网络和BiLSTM分别提取局部空间信息和上下文时序信息的特征表示,通过平均融合后,由sigmoid分类器进行分类。在Reuters-21578和AAPD两个数据集上进行对比实验,实验结果表明,提出的联合模型在使用简单架构的情况下,达到了较好的性能,F1值分别达到了89.82%和67.48%。
-
关键词
多标签文本分类
多头注意力机制
胶囊网络
双向长短期记忆网络
联合模型
-
Keywords
multi-label text classification
multi-head attention
capsulenet
Bidirectional Long Short-Term Memory network(BiLSTM)
joint model
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
