期刊文献+
共找到5篇文章
< 1 >
每页显示 20 50 100
基于轻量化改进ERNIE-RCNN的中文新闻标题分类
1
作者 李莉 张之欣 王小龙 《科学技术与工程》 北大核心 2025年第2期649-656,共8页
针对大型预训练语言模型在处理新闻标题时,面临参数规模庞大、无法高效利用上下文语意特征以及循环卷积神经网络对初始输入元素重要性忽视的问题,提出了一种融合混合专家模型(mixture-of-expert,MoE)的ERNIE与注意力机制的循环卷积神经... 针对大型预训练语言模型在处理新闻标题时,面临参数规模庞大、无法高效利用上下文语意特征以及循环卷积神经网络对初始输入元素重要性忽视的问题,提出了一种融合混合专家模型(mixture-of-expert,MoE)的ERNIE与注意力机制的循环卷积神经网络(recurrent convolutional neural networks,RCNN)的新闻标题分类方法。首先,借助MoE改进ERNIE技术进行文本编码,随后利用注意力RCNN在保留文本词序和特征的基础上进行分类。为提高分类能力,通过计算输入的融合上下文权重对RCNN进行改进。在计算MoE中各个专家权重的过程中,选择Gumbel_Softmax作为新型的门控函数以改进传统的Softmax函数,从而更好地控制平滑程度。根据实验结果,发现相较于传统的分类方法,本文研究提出的分类方法展现出显著优势,极大地减少了参数数量。在此基础上,F_(1)相较于传统模型提升了0.51%。经过消融实验的验证,该分类方法在分类任务上的可行性得到了证实。 展开更多
关键词 混合专家系统 知识增强语义表示模型 注意力机制 循环卷积神经网络 文本分类
在线阅读 下载PDF
基于ERNIE模型的雷达维修命名实体识别研究
2
作者 曾垂振 崔良中 马文卓 《计算机工程与科学》 北大核心 2025年第6期1106-1113,共8页
在雷达维修领域的知识图谱构建中,由于其专业性强、标注数据集稀缺,命名实体识别模型训练存在较大困难,传统模型训练效果达不到应用要求。在Bi GRU-CRF模型的基础上引入了预训练模型,提出了ERNIE-Bi GRU-CRF模型。首先,以某型号雷达为例... 在雷达维修领域的知识图谱构建中,由于其专业性强、标注数据集稀缺,命名实体识别模型训练存在较大困难,传统模型训练效果达不到应用要求。在Bi GRU-CRF模型的基础上引入了预训练模型,提出了ERNIE-Bi GRU-CRF模型。首先,以某型号雷达为例,收集维修数据,并进行数据的预处理,同时使用doccano平台对数据进行人工标注,获得雷达维修领域命名实体识别数据1100余条。然后,通过ERNIE预训练模型获取雷达维修训练数据的动态词向量,Bi GRU获取双向语义信息。最后,通过CRF约束得到最合理的序列标注结果。实验结果表明,在少量训练语料的条件下,所提模型具有较强的识别效果,相比于Bi GRU-CRF、Bi LSTM-CRF模型,其F1值有一定提升,有效解决了雷达维修领域训练语料缺乏、训练效果不佳的问题,在雷达维修领域知识图谱的自动化构建中具有一定的实用价值。 展开更多
关键词 雷达维修 命名实体识别 ernie模型 大语言模型
在线阅读 下载PDF
基于自然语言处理的航行通告风险识别方法
3
作者 瞿也丰 辜汝桐 +2 位作者 黄文强 陈东玲 邓李明 《中国安全科学学报》 北大核心 2025年第S1期33-39,共7页
为实现海量航行通告文本数据的高效精准风险识别,满足现代航班运行对航行通告风险解析的需求,提升民航领域风险识别能力,提出一种融合知识增强的语义表示(ERNIE)模型、卷积神经网络(CNN)以及双向长短期记忆神经网络(BiLSTM)的航行通告... 为实现海量航行通告文本数据的高效精准风险识别,满足现代航班运行对航行通告风险解析的需求,提升民航领域风险识别能力,提出一种融合知识增强的语义表示(ERNIE)模型、卷积神经网络(CNN)以及双向长短期记忆神经网络(BiLSTM)的航行通告风险识别模型;借助ERNIE模型进行词向量的训练,利用CNN捕捉文本局部结构的特性,并结合BiLSTM理解文本的深层次上下文关联;并开展对比试验进行验证。结果表明:相较于其他同类模型,该方法对国内中文和国际英文航行通告的识别精度分别高达92.01%和93.85%。该成果可以为航空公司在航行情报的风险解析和安全管理提供一定的数据支撑。 展开更多
关键词 自然语言处理(NLP) 航行通告 风险识别 知识增强的语义表示(ernie) 卷积神经网络(CNN) 双向长短期记忆网络(BiLSTM)
在线阅读 下载PDF
基于ERNIE+DPCNN+BiGRU的农业新闻文本分类 被引量:13
4
作者 杨森淇 段旭良 +2 位作者 肖展 郎松松 李志勇 《计算机应用》 CSCD 北大核心 2023年第5期1461-1466,共6页
针对农业新闻目前面临的针对性差、分类不清和数据集缺乏等问题,提出一种基于ERNIE(Enhanced Representation through kNowledge IntEgration)、深度金字塔卷积神经网络(DPCNN)和双向门控循环单元(BiGRU)的农业新闻分类模型——EGC。首... 针对农业新闻目前面临的针对性差、分类不清和数据集缺乏等问题,提出一种基于ERNIE(Enhanced Representation through kNowledge IntEgration)、深度金字塔卷积神经网络(DPCNN)和双向门控循环单元(BiGRU)的农业新闻分类模型——EGC。首先利用ERNIE对数据集进行编码,然后利用改进后的DPCNN和BiGRU同时提取新闻文本的特征,再将两者提取的特征进行拼合并经过Softmax得到最终结果。为了使EGC模型适用于农业新闻分类领域,对DPCNN进行改进,减少它的卷积层以保留更多特征。实验结果表明,与ERNIE相比,EGC模型的精确率、召回率和F1分数别提升了1.47、1.29和1.42个百分点,优于传统分类模型。 展开更多
关键词 新闻文本分类 农业工程 ernie 深度金字塔卷积神经网络 双向门控循环单元
在线阅读 下载PDF
基于ERNIE和CNN的在线评论情感分析模型 被引量:5
5
作者 齐梦娜 朱丽平 李宁 《计算机应用》 CSCD 北大核心 2022年第S01期7-11,共5页
针对用户提交的商品评论内容与情感标记存在不一致的现象,提出了一种基于知识增强的语义表示(ERNIE)与卷积神经网络(CNN)的在线评论情感分析模型ECN,对评论文本进行情感倾向划分。首先,利用ERNIE预训练模型生成基于上下文信息的文本向... 针对用户提交的商品评论内容与情感标记存在不一致的现象,提出了一种基于知识增强的语义表示(ERNIE)与卷积神经网络(CNN)的在线评论情感分析模型ECN,对评论文本进行情感倾向划分。首先,利用ERNIE预训练模型生成基于上下文信息的文本向量表示;然后,通过多通道CNN模型对文本向量进行特征提取;最后,利用Softmax进行文本情感分类。在两个数据集上的实验结果表明,ECN模型的情感分类准确率、召回率及F1值均达到91%以上。与CNN、双向长短时记忆(BiLSTM)网络、ERNIE相比,ECN模型的情感分类效果更好。采用ECN模型对商品评论文本自动划分情感类别,能够更客观地反映消费者的情感倾向,对商家及其他消费者更具有指导意义。 展开更多
关键词 情感分类 卷积神经网络 多通道卷积神经网络 知识增强的语义表示 在线商品评论
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部