期刊文献+
共找到25篇文章
< 1 2 >
每页显示 20 50 100
中文短文本情感分类:融入位置感知强化的Transformer-TextCNN模型研究
1
作者 李浩君 王耀东 汪旭辉 《计算机工程与应用》 北大核心 2025年第11期216-226,共11页
针对当前中文短文本情感分类模型文本位置信息与关键特征获取不足的问题,提出了一种融入位置感知强化的Transformer-TextCNN情感分类模型。利用BERT可学习绝对位置编码与正弦位置编码强化模型的位置感知能力,融合Transformer的全局上下... 针对当前中文短文本情感分类模型文本位置信息与关键特征获取不足的问题,提出了一种融入位置感知强化的Transformer-TextCNN情感分类模型。利用BERT可学习绝对位置编码与正弦位置编码强化模型的位置感知能力,融合Transformer的全局上下文理解能力与TextCNN的局部特征捕捉能力,分别提取中文短文本全局特征与局部特征,构建位置感知强化与特征协同的情感特征输出服务,实现中文短文本情感准确分类。实验结果表明,该模型在视频弹幕数据集上的准确率达到90.23%,在SMP2020数据集上的准确率达到87.38%。相较于最优的基线模型,准确率在视频弹幕数据集和SMP2020数据集上分别提高了1.98和0.44个百分点,在中文短文本情感分类任务中取得更好的分类效果。 展开更多
关键词 文本情感分类 BERT TRANSFORMER textcnn 位置编码
在线阅读 下载PDF
基于Bert-TextCNN的开源威胁情报文本的多标签分类方法 被引量:7
2
作者 陆佳丽 《信息安全研究》 CSCD 北大核心 2024年第8期760-768,共9页
开源威胁情报对网络安全防护十分重要,但其存在着分布广、形式多、噪声大的特点.所以如何能对收集到的海量开源威胁情报进行高效的整理和分析就成为亟需解决的问题.因此,探索了一种以Bert-TextCNN模型为基础且同时考虑标题、正文和正则... 开源威胁情报对网络安全防护十分重要,但其存在着分布广、形式多、噪声大的特点.所以如何能对收集到的海量开源威胁情报进行高效的整理和分析就成为亟需解决的问题.因此,探索了一种以Bert-TextCNN模型为基础且同时考虑标题、正文和正则判断的多标签分类方法.根据情报源发布文本的特点,设置正则判断规则,以弥补模型的欠缺;为更全面反映开源威胁情报文本所涉及的威胁主题,针对标题和正文分别设置了Bert-TextCNN多标签分类模型,并将2部分标签整理去重以得到文本的最终威胁类别.通过与只依据正文建立的Bert-TextCNN多标签分类模型进行对比,所设置的模型在性能上有所提升,且召回率提升明显,能为开源威胁情报分类工作提供有价值的参考. 展开更多
关键词 开源威胁情报 多标签分类 文本分类 Bert模型 textcnn模型
在线阅读 下载PDF
基于ELMo-TextCNN的网络欺凌检测模型 被引量:6
3
作者 叶水欢 葛寅辉 +1 位作者 陈波 于泠 《信息安全研究》 CSCD 2023年第9期868-876,共9页
网络欺凌检测是网络空间信息内容安全的重要研究内容,也关乎青少年在线安全.针对目前网络欺凌检测方案存在的训练样本少、难以处理多义词、分类性能不太理想等问题,提出一种ELMo-TextCNN检测模型.该模型首先采用迁移学习思想,利用预训练... 网络欺凌检测是网络空间信息内容安全的重要研究内容,也关乎青少年在线安全.针对目前网络欺凌检测方案存在的训练样本少、难以处理多义词、分类性能不太理想等问题,提出一种ELMo-TextCNN检测模型.该模型首先采用迁移学习思想,利用预训练的ELMo(embeddings from language models)生成动态词向量,不仅解决了网络欺凌样本规模小的问题,而且由于ELMo采用了双向长短期记忆(bi-directional long short-term memory,BiLSTM)网络结构,会根据上下文推断每个词对应的词向量,能够根据语境理解多义词.该模型再通过擅长处理短文本数据的TextCNN(text convolutional neural network)提取文本特征,最后经过全连接层输出分类结果.实验结果证明,提出的ELMo-TextCNN检测方法能够处理一词多义,并获得更好的分类检测效果. 展开更多
关键词 网络欺凌检测 深度学习 迁移学习 ELMo模型 textcnn模型
在线阅读 下载PDF
一种融合CINO+TextCNN+BiLSTM+Attention的藏文情感分类方法 被引量:1
4
作者 白玛洛赛 群诺 达措 《高原科学研究》 CSCD 2023年第2期93-98,共6页
文章在卷积神经网络(TextCNN)、长短期记忆神经网络(LSTM)、词向量(Word2vec),全局词向量(Glove)等传统的训练词向量基础上,提出一种基于CINO+TextCNN+BiLSTM+Attention的藏文情感分类模型,使用少数民族语言的多语言预训练模型(CINO)来... 文章在卷积神经网络(TextCNN)、长短期记忆神经网络(LSTM)、词向量(Word2vec),全局词向量(Glove)等传统的训练词向量基础上,提出一种基于CINO+TextCNN+BiLSTM+Attention的藏文情感分类模型,使用少数民族语言的多语言预训练模型(CINO)来获取上下文语义的词向量,通过TextCNN和BiLSTM结合的注意力机制来提取局部信息和语义特征信息。文章构建了包含1.7万条藏文情感分类词的语料库,使用TextCNN、BiLSTM、CINO、CINO+TextCNN、CINO+BiLSTM、CINO+BiLSTM+Attention、CINO+TextCNN+BiLSTM+Attention等7种不同模型进行对比实验,实验结果表明本文提出的模型在藏文情感分类中的效果最优,其准确率上达到90.74%。 展开更多
关键词 藏文情感分类 CINO textcnn 注意力机制
在线阅读 下载PDF
基于BERT字向量和TextCNN的农业问句分类模型分析 被引量:14
5
作者 鲍彤 罗瑞 +2 位作者 郭婷 贵淑婷 任妮 《南方农业学报》 CAS CSCD 北大核心 2022年第7期2068-2076,共9页
【目的】研究不同词向量和深度学习模型组合对农业问句分类结果的影响,为构建农业智能问答系统提供技术支撑。【方法】通过爬虫获取农业种植网等网站的问答数据,选择20000条问句进行人工标注,构建农业问句分类语料库。采用BERT对农业问... 【目的】研究不同词向量和深度学习模型组合对农业问句分类结果的影响,为构建农业智能问答系统提供技术支撑。【方法】通过爬虫获取农业种植网等网站的问答数据,选择20000条问句进行人工标注,构建农业问句分类语料库。采用BERT对农业问句进行字符编码,利用文本卷积神经网络(TextCNN)提取问句高维度特征对农业问句进行分类。【结果】在词向量对比实验中,BERT字向量与TextCNN结合时农业问句分类F1值达93.32%,相比Word2vec字向量提高2.1%。在深度学习模型的分类精度对比方面,TextCNN与Word2vec和BERT字向量结合的F1值分别达91.22%和93.32%,均优于其他模型。在农业问句的细分试验中,BERT-TextCNN在栽培技术、田间管理、土肥水管理和其他4个类别中分类F1值分别为86.06%、90.56%、95.04%和85.55%,均优于其他深度学习模型。超参数设置方面,BERT-TextCNN农业问句分类模型卷积核大小设为[3,4,5]、学习率设为5e-5、迭代次数设为5时效果最优,该模型在数据样本不均衡的情况下,对于农业问句的平均分类准确率依然能达93.00%以上,可满足农业智能问答系统的问句分类需求。【建议】通过阿里NLP等开源平台提升数据标注质量;在分类过程中补充词频和文档特征,提高模型分类精度;农业相关政府职能部门加强合作,积极探索农业技术数字化推广和服务新模式。 展开更多
关键词 农业问句 智能问答系统 问句分类 预训练语言模型(BERT) 文本卷积神经网络
在线阅读 下载PDF
基于注意力机制的中医实体关系抽取模型
6
作者 李旻哲 刘华 殷继彬 《兵工自动化》 北大核心 2025年第6期17-22,共6页
针对中医实体关系复杂和多样导致实体关系抽取不佳的问题,提出一种基于注意力机制与多模型融合的关系抽取模型(r-BERT-BiLSTM-attention-textCNN,RBBAT)。该模型由关系抽取预训练模型(r-BERT)、双向长短期记忆神经网络(BiLSTM)、注意力... 针对中医实体关系复杂和多样导致实体关系抽取不佳的问题,提出一种基于注意力机制与多模型融合的关系抽取模型(r-BERT-BiLSTM-attention-textCNN,RBBAT)。该模型由关系抽取预训练模型(r-BERT)、双向长短期记忆神经网络(BiLSTM)、注意力层(Attention)和TextCNN 4部分组成;实验选取近年来各个医案平台上公开的消化科相关医案,针对症状-病名、症状-证候、舌象-证候、脉象-证候、证候-治法5个实体关系进行关系抽取。实验结果表明:该模型与常用的关系抽取模型相比较,在症状-病名、症状-证候、舌象-证候、证候-治法4种实体关系上的抽取能力达到最优。 展开更多
关键词 关系抽取 中医案例 预训练模型 注意力机制 textcnn
在线阅读 下载PDF
基于字词向量融合的民航智慧监管短文本分类 被引量:2
7
作者 王欣 干镞锐 +2 位作者 许雅玺 史珂 郑涛 《中国安全科学学报》 CAS CSCD 北大核心 2024年第2期37-44,共8页
为解决民航监管事项所产生的检查记录仅依靠人工进行分类分析导致效率低的问题,提出一种基于数据增强与字词向量融合的双通道特征提取的短文本分类模型,探讨民航监管事项的分类,包括与人、设备设施环境、制度程序和机构职责等相关问题... 为解决民航监管事项所产生的检查记录仅依靠人工进行分类分析导致效率低的问题,提出一种基于数据增强与字词向量融合的双通道特征提取的短文本分类模型,探讨民航监管事项的分类,包括与人、设备设施环境、制度程序和机构职责等相关问题。为解决类别不平衡问题,采用数据增强算法在原始文本上进行变换,生成新的样本,使各个类别的样本数量更加均衡。将字向量和词向量按字融合拼接,得到具有词特征信息的字向量。将字词融合的向量分别送入到文本卷积神经网络(TextCNN)和双向长短期记忆(BiLSTM)模型中进行不同维度的特征提取,从局部的角度和全局的角度分别提取特征,并在民航监管事项检查记录数据集上进行试验。结果表明:该模型准确率为0.9837,F 1值为0.9836。与一些字嵌入模型和词嵌入模型相对比,准确率提升0.4%。和一些常用的单通道模型相比,准确率提升3%,验证了双通道模型提取的特征具有全面性和有效性。 展开更多
关键词 字词向量融合 民航监管 短文本 文本卷积神经网络(textcnn) 双向长短期记忆(BiLSTM)
在线阅读 下载PDF
融合投资者情绪的S_AM_BiLSTM股价预测模型 被引量:9
8
作者 袁婧 潘甦 +1 位作者 谢浩 徐文鹏 《计算机工程与应用》 CSCD 北大核心 2024年第7期274-281,共8页
股票价格预测一直是金融领域的研究热点之一。然而,股票价格的形成机制是相当复杂的,各种因素都可能会导致股票价格的变化。为此,提出了一种基于深度学习方法并融合多源数据和投资者情绪的股票价格预测混合模型(S_AM_BiLSTM)。利用文本... 股票价格预测一直是金融领域的研究热点之一。然而,股票价格的形成机制是相当复杂的,各种因素都可能会导致股票价格的变化。为此,提出了一种基于深度学习方法并融合多源数据和投资者情绪的股票价格预测混合模型(S_AM_BiLSTM)。利用文本卷积神经网络(TextCNN)对从股票论坛中提取的投资者评论进行情绪分析,并计算情绪指数。将情绪指数(sentiment)、技术指标和股票历史交易数据作为股价预测模型的特征集,采用双向长短时记忆神经网络(BiLSTM)对股票的收盘价进行预测,并在此基础上加入注意力机制(attention mechanism),提高预测精度。为了证明模型的有效性和适用性,随机选取4个重点行业的股票进行实证研究。实验结果表明,与其他单一模型和不含情绪因子的模型相比,所提出的混合模型的效果更优越。 展开更多
关键词 深度学习 双向长短期记忆网络(BiLSTM) 文本卷积神经网络(textcnn) 股价预测 情绪分析
在线阅读 下载PDF
基于加权特征融合的物联网设备识别方法 被引量:1
9
作者 曹伟康 林宏刚 《计算机科学》 CSCD 北大核心 2024年第S02期875-883,共9页
物联网设备识别在设备管理和网络安全等领域具有极为重要的作用,它不仅有助于管理员及时审查网络资产,还能将设备信息与潜在漏洞信息相互关联,及时发现潜在的安全风险。目前的物联网设备识别方法存在没有充分利用物联网设备的特征,并且... 物联网设备识别在设备管理和网络安全等领域具有极为重要的作用,它不仅有助于管理员及时审查网络资产,还能将设备信息与潜在漏洞信息相互关联,及时发现潜在的安全风险。目前的物联网设备识别方法存在没有充分利用物联网设备的特征,并且在样本不平衡的情况下难以识别出样本较少的设备等问题。针对上述问题,文中提出了一种基于加权特征融合的物联网设备识别方法,设计了TextCNN-BiLSTM_Attention并行结构,分别提取物联网设备应用层服务信息的局部特征和上下文特征;提出了一种加权特征融合算法对不同模型提取的特征进行融合;最后采用多层感知机完成设备识别。实验结果表明,该方法能更全面地提取物联网设备特征,在数据不平衡的情况下识别出样本较少的设备,宏平均精准率比现有方法提升了2.6%~12.85%,具有良好的表征能力和泛化能力,且在识别效率方面优于CNN_LSTM等多模型方法。 展开更多
关键词 物联网 设备识别 textcnn BiLSTM_Attention 特征提取 加权特征融合
在线阅读 下载PDF
基于距离注意力的双特征融合的图书分类方法
10
作者 王豹 周勇 +3 位作者 褚庆福 罗淇丰 吴佳隆 许婕 《江西师范大学学报(自然科学版)》 北大核心 2024年第6期652-660,共9页
针对传统分类模型缺乏对图书数据的多维度语义学习和无法充分学习图书名称、作者和简介等语义信息及其之间联系的问题,提出了一种基于距离注意力的双特征融合的图书分类模型:BTCBLA(BERT-TextCNN-BiLSTM-Attention).该模型采用双通道的... 针对传统分类模型缺乏对图书数据的多维度语义学习和无法充分学习图书名称、作者和简介等语义信息及其之间联系的问题,提出了一种基于距离注意力的双特征融合的图书分类模型:BTCBLA(BERT-TextCNN-BiLSTM-Attention).该模型采用双通道的方法进行特征提取.针对图书数据包含位置信息的特殊性,在Self-Attention的基础上提出了Distance-Attention,通过加入多尺度相对位置编码解决了在自注意力无法充分理解序列中动态依赖关系的问题;设计了独特的语义融合模块Global-Local-Attention,能够生成权重提取关键信息与语义联系,从而融合局部与全局信息;经过全连接层和Softmax层进行分类,获取多个维度的语义特征,从而具备更丰富的文本语义信息.实验结果表明该模型的准确度达到了91.75%,具有良好的分类性能. 展开更多
关键词 BERT textcnn BiLSTM 注意力 图书分类
在线阅读 下载PDF
融入频域增强自注意力机制的BTBFA混合神经网络情感分类模型
11
作者 苏妍嫄 韩翠娟 张亚明 《现代情报》 CSSCI 北大核心 2024年第12期52-63,共12页
[目的/意义]智媒时代基于神经网络模型实现用户情感精准分类,进而深入挖掘海量文本信息潜在价值具有重要意义。[方法/过程]针对现有混合模型层间依赖性强、输出特征重要性差异体现不足等导致的情感分类效果受限问题,基于Stacking集成思... [目的/意义]智媒时代基于神经网络模型实现用户情感精准分类,进而深入挖掘海量文本信息潜在价值具有重要意义。[方法/过程]针对现有混合模型层间依赖性强、输出特征重要性差异体现不足等导致的情感分类效果受限问题,基于Stacking集成思想,提出一种融入频域增强自注意力机制的混合神经网络情感分类模型,通过构建由Bert、TextCNN、BiLSTM组成的并行式特征提取基学习器层与融入频域增强自注意力机制的元学习器层,并与词嵌入层和全连接层相融合,系统挖掘文本深层次语义信息以及局部、全局特征,进而通过权重分配以及离散傅里叶变换提升情感分类效果。[结果/结论]酒店评论数据集上的对比实验与消融实验结果均表明,所提模型情感分类性能与其他模型相比具有显著优势,准确率、召回率、F1值分别达到91.7%、95.3%和93.9%,且随Epoch训练轮数增加,模型情感分类准确性不断提升,损失值不断降低,呈现较强的泛化能力。 展开更多
关键词 情感分类 混合神经网络 Bert-textcnn-BiLSTM-FAttention Stacking算法 自注意力机制 离散傅里叶变换
在线阅读 下载PDF
一种分层注意力机制与用户动态偏好融合的序列推荐算法 被引量:2
12
作者 闫猛猛 汪海涛 +1 位作者 贺建峰 陈星 《小型微型计算机系统》 CSCD 北大核心 2024年第3期621-628,共8页
针对现有的序列推荐算法通常仅采用单一项目信息来捕获项目的潜在特征,以及循环神经网络存在时间依赖性随序列中位置单调变化的问题,提出一种分层注意力机制与用户动态偏好融合的序列推荐算法.首先,针对单一项目信息不足以学习项目准确... 针对现有的序列推荐算法通常仅采用单一项目信息来捕获项目的潜在特征,以及循环神经网络存在时间依赖性随序列中位置单调变化的问题,提出一种分层注意力机制与用户动态偏好融合的序列推荐算法.首先,针对单一项目信息不足以学习项目准确表示的问题,提出一种分层注意力机制用于学习高质量的项目表示.其次,针对循环神经网络的时间依赖性严重损害了用户近期偏好建模的问题,引入文本卷积神经网络来提取循环隐藏状态之间的短期序列模式,并根据用户意图将用户长期偏好与近期偏好进行动态融合.此外,针对传统自注意力机制无法对序列中元素的相对位置信息进行建模的问题,对现有的自注意力机制进行了改进,充分捕获序列中元素的相对位置信息.并在公开数据集MovieLens-1M与Amazon-Book上与现有优秀算法作比较,实验结果证明了所提算法的有效性. 展开更多
关键词 序列推荐 分层注意力机制 文本卷积神经网络 动态偏好
在线阅读 下载PDF
基于BERT的多模型融合的Web攻击检测方法 被引量:1
13
作者 袁平宇 邱林 《计算机工程》 CAS CSCD 北大核心 2024年第11期197-206,共10页
传统Web攻击检测方法准确率不高,不能有效防范Web攻击。针对该问题,提出一种基于变换器的双向编码器表示(BERT)的预训练模型、文本卷积神经网络(TextCNN)和双向长短期记忆网络(BiLSTM)多模型融合的Web攻击检测方法。先将HTTP请求进行预... 传统Web攻击检测方法准确率不高,不能有效防范Web攻击。针对该问题,提出一种基于变换器的双向编码器表示(BERT)的预训练模型、文本卷积神经网络(TextCNN)和双向长短期记忆网络(BiLSTM)多模型融合的Web攻击检测方法。先将HTTP请求进行预处理,再通过BERT进行训练得到具备上下文依赖的特征向量,并用TextCNN模型进一步提取其中的高阶语义特征,作为BiLSTM的输入,最后利用Softmax函数进行分类检测。在HTTP CSIC 2010和恶意URL检测两个数据集上对所提方法进行验证,结果表明,与支持向量机(SVM)、逻辑回归(LR)等传统的机器学习方法和现有较新的方法相比,基于BERT的多模型融合的Web攻击检测方法在准确率、精确率、召回率和F1值指标上均表现更优(准确率和F1值的最优值都在99%以上),能准确检测Web攻击。 展开更多
关键词 Web攻击检测 基于变换器的双向编码器表示 多模型融合 HTTP请求 文本卷积神经网络 双向长短期记忆网络
在线阅读 下载PDF
基于BG-DATT-CNN网络的方面级别情感分析 被引量:3
14
作者 余本功 王惠灵 朱晓洁 《计算机工程与应用》 CSCD 北大核心 2022年第24期151-157,共7页
分析句子针对不同方面的情感极性,深入挖掘评论文本中的信息,为企业生产决策提供建议。针对传统方法多考虑单一层面注意力信息,且基于RNN的模型忽略了局部特征的重要性,而基于CNN的模型不能捕捉长距离依赖的信息的问题,提出了基于双重... 分析句子针对不同方面的情感极性,深入挖掘评论文本中的信息,为企业生产决策提供建议。针对传统方法多考虑单一层面注意力信息,且基于RNN的模型忽略了局部特征的重要性,而基于CNN的模型不能捕捉长距离依赖的信息的问题,提出了基于双重注意力机制的BG-DATT-CNN模型。在特征表示上,利用BERT对句子和方面词分别进行词向量编码,获得文本的深层语义特征。在特征提取上,设计了双重注意力机制,通过计算两类权重获得综合权重,强化文本的上下文相关特征和方面相关特征。在模型构建上,设计了BG-DATT-CNN网络,结合GRU和CNN各自的优势,Bi-GRU层捕捉文本的上下文全局特征,CNN层包括K-Max池化层和TextCNN层,通过两阶段特征提取获取分类的关键信息。在SemEval 2014数据集上的实验表明,与现有的其他模型相比,提出的模型取得了较好的效果。 展开更多
关键词 方面级别情感分类 双重注意力机制 Bi-GRU K-Max池化 textcnn
在线阅读 下载PDF
基于程序结构与语义特征融合的软件缺陷预测 被引量:3
15
作者 董玉坤 李浩杰 +1 位作者 位欣欣 唐道龙 《计算机工程与应用》 CSCD 北大核心 2022年第16期84-93,共10页
随着软件系统的规模越来越庞大,如何快速高效地预测软件中的程序缺陷成为一个研究热点。最近的研究引入了深度学习模型,使用神经网络提取代码特征构建分类器进行缺陷预测。针对现有的神经网络只在单层面、单粒度上提取代码特征,导致特... 随着软件系统的规模越来越庞大,如何快速高效地预测软件中的程序缺陷成为一个研究热点。最近的研究引入了深度学习模型,使用神经网络提取代码特征构建分类器进行缺陷预测。针对现有的神经网络只在单层面、单粒度上提取代码特征,导致特征不够丰富,造成预测精度不高的问题,提出了一种基于特征融合的软件缺陷预测框架。通过将程序解析为抽象语法树(abstract syntax tree,AST)以及Token序列两种不同的程序表示方式,利用树卷积神经网络以及文本卷积神经网络分别提取代码的结构和语义特征进行特征融合,从而提取到更丰富的代码特征用于缺陷预测。同时改进了AST和Token序列提取方法,降低模型复杂度。选择使用公共存储库PROMISE中的公开数据集作为实验数据集,采用softmax分类器预测得到最终的预测结果。实验结果表明,该框架在实验数据集上可以获得比已有方法更高的F1-score。 展开更多
关键词 软件缺陷预测 特征融合 树卷积神经网络(TBCNN) 文本卷积神经网络(textcnn)
在线阅读 下载PDF
一种融合多层次情感和主题信息的TS-AC-EWM在线商品排序方法 被引量:1
16
作者 余本功 张子薇 王惠灵 《计算机科学》 CSCD 北大核心 2022年第S01期165-171,共7页
电商平台信息对消费者的商品购买决策有显著影响。基于大体量的店铺与商品信息、在线评论文本进行信息融合并得出在线商品排序辅助消费者进行购买决策,具有重要的研究价值。针对上述问题,提出了一种融合多层次情感和主题信息的TS-AC-EW... 电商平台信息对消费者的商品购买决策有显著影响。基于大体量的店铺与商品信息、在线评论文本进行信息融合并得出在线商品排序辅助消费者进行购买决策,具有重要的研究价值。针对上述问题,提出了一种融合多层次情感和主题信息的TS-AC-EWM在线商品排序方法,充分利用了评分信息与评论内容信息。首先,从计量与内容两个维度设计在线商品排序评价体系,体系包含4个计量指标与3个内容指标;其次,爬取各候选商品的计量指标与在线评论内容;然后,用融合主题与情感信息的TS方法以及基于追加评论的AC方法计算3个内容指标;最后,用熵权法确定指标权重,得出商品评分及排序。以京东微波炉数据集为例进行实验,证明了所提方法的可行性与有效性,因此该排序方法具有一定的现实意义。 展开更多
关键词 商品排序 LDA ALBERT textcnn 熵权法
在线阅读 下载PDF
基于BERT模型的中文短文本分类算法 被引量:90
17
作者 段丹丹 唐加山 +1 位作者 温勇 袁克海 《计算机工程》 CAS CSCD 北大核心 2021年第1期79-86,共8页
针对现有中文短文本分类算法通常存在特征稀疏、用词不规范和数据海量等问题,提出一种基于Transformer的双向编码器表示(BERT)的中文短文本分类算法,使用BERT预训练语言模型对短文本进行句子层面的特征向量表示,并将获得的特征向量输入S... 针对现有中文短文本分类算法通常存在特征稀疏、用词不规范和数据海量等问题,提出一种基于Transformer的双向编码器表示(BERT)的中文短文本分类算法,使用BERT预训练语言模型对短文本进行句子层面的特征向量表示,并将获得的特征向量输入Softmax回归模型进行训练与分类。实验结果表明,随着搜狐新闻文本数据量的增加,该算法在测试集上的整体F1值最高达到93%,相比基于TextCNN模型的短文本分类算法提升6个百分点,说明其能有效表示句子层面的语义信息,具有更好的中文短文本分类效果。 展开更多
关键词 中文短文本分类 基于Transformer的双向编码器表示 Softmax回归模型 textcnn模型 word2vec模型
在线阅读 下载PDF
互联网新闻敏感信息识别方法的研究 被引量:12
18
作者 李姝 张祥祥 +1 位作者 于碧辉 于金刚 《小型微型计算机系统》 CSCD 北大核心 2021年第4期685-689,共5页
敏感信息识别是净化互联网环境的关键,在当今信息爆炸的时代,人们每天都要从互联网中获得大量信息,如何过滤大量信息中的敏感信息对整个社会安定和谐有着重要的意义.现有的方法主要是基于敏感关键词的方法进行过滤,需要不断更新迭代敏... 敏感信息识别是净化互联网环境的关键,在当今信息爆炸的时代,人们每天都要从互联网中获得大量信息,如何过滤大量信息中的敏感信息对整个社会安定和谐有着重要的意义.现有的方法主要是基于敏感关键词的方法进行过滤,需要不断更新迭代敏感关键词,泛化性弱,本文中使用基于预训练模型的深度学习方法可以学习到互联网新闻文本中更深层的语义信息,进而更有效的识别和过滤敏感信息,泛化性强,但是只使用深度学习方法会一定程度上的损失敏感关键词特征.本文首次将传统的敏感关键词方法与深度学习方法相结合应用于互联网敏感信息识别,提出了一种融合敏感关键词特征的模型Mer-HiBert.实验结果表明,与之前的敏感关键词方法以及深度学习模型相比,模型的性能有进一步提高. 展开更多
关键词 敏感信息识别 敏感关键词 Bert ATTENTION textcnn
在线阅读 下载PDF
融合ERNIE和注意力机制的中文关系抽取模型 被引量:5
19
作者 李天昊 霍其润 +1 位作者 闫跃 徐远超 《小型微型计算机系统》 CSCD 北大核心 2022年第6期1226-1231,共6页
关系抽取任务是要在实体识别的基础上确定无结构文本中实体对间的关系类别,即判断实体间的关系.针对目前中文关系抽取精度不足以及静态词向量无法很好地解读文本的问题,本文提出一种融合ERNIE预训练模型和注意力机制的TEXTCNN中文关系... 关系抽取任务是要在实体识别的基础上确定无结构文本中实体对间的关系类别,即判断实体间的关系.针对目前中文关系抽取精度不足以及静态词向量无法很好地解读文本的问题,本文提出一种融合ERNIE预训练模型和注意力机制的TEXTCNN中文关系抽取模型.ERNIE词向量针对中文的特点以词组为单位做掩盖进行模型训练,实现了对中文文本更好的语义表达,再通过TEXTCNN模型对输入数据进行特征提取,融合注意力机制聚焦于影响最终结果的关键特征,从而实现特征优化提取.本文在百度发布的SKE数据集上进行实验,重点探索ERNIE模型结合注意力机制对中文文本的特征表达效果,结果表明本文模型可以更好地学习中文文本中的特征并用于关系抽取,有效提高关系抽取任务的准确率. 展开更多
关键词 ERNIE textcnn 注意力机制 关系抽取 中文文本
在线阅读 下载PDF
融合局部语义特征的学者细粒度信息提取方法 被引量:3
20
作者 田悦霖 黄瑞章 任丽娜 《计算机应用》 CSCD 北大核心 2023年第9期2707-2714,共8页
从学者主页中提取的学者细粒度信息(如学者研究方向、教育经历等)在大规模专业人才库的创建等方面具有非常重要的应用价值。针对现有学者细粒度信息提取方法无法有效利用上下文语义联系的问题,提出一种融合局部语义特征的学者信息提取方... 从学者主页中提取的学者细粒度信息(如学者研究方向、教育经历等)在大规模专业人才库的创建等方面具有非常重要的应用价值。针对现有学者细粒度信息提取方法无法有效利用上下文语义联系的问题,提出一种融合局部语义特征的学者信息提取方法,利用局部范围文本的语义联系对学者主页进行细粒度信息抽取。首先,通过全词掩码中文预训练模型RoBERTa-wwm-ext学习通用语义表征;之后将通用语义表征中的目标句表征向量与局部相邻文本表征向量共同输入卷积神经网络(CNN)实现局部语义融合,从而获得更高维度的目标句表征向量;最终将目标句表征向量从高维度空间映射到低维度标签空间实现学者主页细粒度信息的抽取。实验结果表明,使用此融合局部语义特征的方法进行学者细粒度信息提取的宏平均F1值达到93.43%,与未融合局部语义的RoBERTa-wwm-ext-TextCNN方法相比提高了8.60个百分点,验证了所提方法在学者细粒度信息提取任务上的有效性。 展开更多
关键词 学者信息提取 预训练模型 局部语义融合 textcnn 特征提取
在线阅读 下载PDF
上一页 1 2 下一页 到第
使用帮助 返回顶部