期刊文献+
共找到4篇文章
< 1 >
每页显示 20 50 100
结合ALBERT和双向门控循环单元的专利文本分类 被引量:30
1
作者 温超东 曾诚 +1 位作者 任俊伟 张䶮 《计算机应用》 CSCD 北大核心 2021年第2期407-412,共6页
随着专利申请数量的快速增长,对专利文本实现自动分类的需求与日俱增。现有的专利文本分类算法大都采用Word2vec和全局词向量(GloVe)等方式获取文本的词向量表示,舍弃了大量词语的位置信息且不能表示出文本的完整语义。针对上述问题,提... 随着专利申请数量的快速增长,对专利文本实现自动分类的需求与日俱增。现有的专利文本分类算法大都采用Word2vec和全局词向量(GloVe)等方式获取文本的词向量表示,舍弃了大量词语的位置信息且不能表示出文本的完整语义。针对上述问题,提出了一种结合ALBERT和双向门控循环单元(BiGRU)的多层级专利文本分类模型ALBERT-BiGRU。该模型使用ALBERT预训练的动态词向量代替传统Word2vec等方式训练的静态词向量,提升了词向量的表征能力;并使用BiGRU神经网络模型进行训练,最大限度保留了专利文本中长距离词之间的语义关联。在国家信息中心公布的专利数据集上进行有效性验证,与Word2vec-BiGRU和GloVe-BiGRU相比,ALBERT-BiGRU的准确率在专利文本的部级别分别提高了9.1个百分点和10.9个百分点,在大类级别分别提高了9.5个百分点和11.2个百分点。实验结果表明,ALBERT-BiGRU能有效提升不同层级专利文本的分类效果。 展开更多
关键词 专利文本 文本分类 ALBERT 双向门控循环单元 词向量
在线阅读 下载PDF
结合广义自回归预训练语言模型与循环卷积神经网络的文本情感分析方法 被引量:10
2
作者 潘列 曾诚 +3 位作者 张海丰 温超东 郝儒松 何鹏 《计算机应用》 CSCD 北大核心 2022年第4期1108-1115,共8页
传统的机器学习方法在对网络评论文本进行情感极性分类时,未能充分挖掘语义信息和关联信息,而已有的深度学习方法虽能提取语义信息和上下文信息,但该过程往往是单向的,在获取评论文本的深层语义信息过程中存在不足。针对以上问题,提出... 传统的机器学习方法在对网络评论文本进行情感极性分类时,未能充分挖掘语义信息和关联信息,而已有的深度学习方法虽能提取语义信息和上下文信息,但该过程往往是单向的,在获取评论文本的深层语义信息过程中存在不足。针对以上问题,提出了一种结合广义自回归预训练语言模型(XLNet)与循环卷积神经网络(RCNN)的文本情感分析方法。首先,利用XLNet对文本进行特征表示,并通过引入片段级递归机制和相对位置信息编码,充分利用了评论文本的语境信息,从而有效提升了文本特征的表达能力;然后,利用RCNN对文本特征进行双向训练,并在更深层次上提取文本的上下文语义信息,从而提升了在情感分析任务中的综合性能。所提方法分别在三个公开数据集weibo-100k、waimai-10k和ChnSentiCorp上进行了实验,准确率分别达到了96.4%、91.8%和92.9%。实验结果证明了所提方法在情感分析任务中的有效性。 展开更多
关键词 评论文本 情感分析 XLNet 片段级递归机制 循环卷积神经网络
在线阅读 下载PDF
结合BERT和特征投影网络的新闻主题文本分类方法 被引量:23
3
作者 张海丰 曾诚 +3 位作者 潘列 郝儒松 温超东 何鹏 《计算机应用》 CSCD 北大核心 2022年第4期1116-1124,共9页
针对新闻主题文本用词缺乏规范、语义模糊、特征稀疏等问题,提出了结合BERT和特征投影网络(FPnet)的新闻主题文本分类方法。该方法包含两种实现方式:方式1将新闻主题文本在BERT模型的输出进行多层全连接层特征提取,并将最终提取到的文... 针对新闻主题文本用词缺乏规范、语义模糊、特征稀疏等问题,提出了结合BERT和特征投影网络(FPnet)的新闻主题文本分类方法。该方法包含两种实现方式:方式1将新闻主题文本在BERT模型的输出进行多层全连接层特征提取,并将最终提取到的文本特征结合特征投影方法进行提纯,从而强化分类效果;方式2在BERT模型内部的隐藏层中融合特征投影网络进行特征投影,从而通过隐藏层特征投影强化提纯分类特征。在今日头条、搜狐新闻、THUCNews-L、THUCNews-S数据集上进行实验,实验结果表明上述两种方式相较于基线BERT方法在准确率、宏平均F1值上均具有更好的表现,准确率最高分别为86.96%、86.17%、94.40%和93.73%,验证了所提方法的可行性和有效性。 展开更多
关键词 预训练语言模型 文本分类 新闻主题 BERT 特征投影网络
在线阅读 下载PDF
基于ALBERT-CRNN的弹幕文本情感分析 被引量:24
4
作者 曾诚 温超东 +2 位作者 孙瑜敏 潘列 何鹏 《郑州大学学报(理学版)》 北大核心 2021年第3期1-8,共8页
提出一种结合ALBERT预训练语言模型与卷积循环神经网络(convolutional recurrent neural network,CRNN)的弹幕文本情感分析模型ALBERT-CRNN。首先使用ALBERT预训练语言模型获取弹幕文本的动态特征表示,使得句子中同一个词在不同上下文... 提出一种结合ALBERT预训练语言模型与卷积循环神经网络(convolutional recurrent neural network,CRNN)的弹幕文本情感分析模型ALBERT-CRNN。首先使用ALBERT预训练语言模型获取弹幕文本的动态特征表示,使得句子中同一个词在不同上下文语境中具有不同的词向量表达;然后利用CRNN对特征进行训练,充分考虑了文本中的局部特征信息和上下文语义关联;最后通过Softmax函数得出弹幕文本的情感极性。在哔哩哔哩、爱奇艺和腾讯视频三个视频平台的弹幕文本数据集上进行实验,结果表明,ALBERT-CRNN模型在三个数据集上的准确率分别达到94.3%、93.5%和94.8%,相比一些传统模型具有更好的效果。 展开更多
关键词 弹幕文本 情感分析 词向量 预训练语言模型 卷积循环神经网络
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部