期刊文献+
共找到8篇文章
< 1 >
每页显示 20 50 100
基于注意力机制的中医实体关系抽取模型
1
作者 李旻哲 刘华 殷继彬 《兵工自动化》 北大核心 2025年第6期17-22,共6页
针对中医实体关系复杂和多样导致实体关系抽取不佳的问题,提出一种基于注意力机制与多模型融合的关系抽取模型(r-BERT-BiLSTM-attention-textCNN,RBBAT)。该模型由关系抽取预训练模型(r-BERT)、双向长短期记忆神经网络(BiLSTM)、注意力... 针对中医实体关系复杂和多样导致实体关系抽取不佳的问题,提出一种基于注意力机制与多模型融合的关系抽取模型(r-BERT-BiLSTM-attention-textCNN,RBBAT)。该模型由关系抽取预训练模型(r-BERT)、双向长短期记忆神经网络(BiLSTM)、注意力层(Attention)和TextCNN 4部分组成;实验选取近年来各个医案平台上公开的消化科相关医案,针对症状-病名、症状-证候、舌象-证候、脉象-证候、证候-治法5个实体关系进行关系抽取。实验结果表明:该模型与常用的关系抽取模型相比较,在症状-病名、症状-证候、舌象-证候、证候-治法4种实体关系上的抽取能力达到最优。 展开更多
关键词 关系抽取 中医案例 预训练模型 注意力机制 textcnn
在线阅读 下载PDF
基于ELMo-TextCNN的网络欺凌检测模型 被引量:6
2
作者 叶水欢 葛寅辉 +1 位作者 陈波 于泠 《信息安全研究》 CSCD 2023年第9期868-876,共9页
网络欺凌检测是网络空间信息内容安全的重要研究内容,也关乎青少年在线安全.针对目前网络欺凌检测方案存在的训练样本少、难以处理多义词、分类性能不太理想等问题,提出一种ELMo-TextCNN检测模型.该模型首先采用迁移学习思想,利用预训练... 网络欺凌检测是网络空间信息内容安全的重要研究内容,也关乎青少年在线安全.针对目前网络欺凌检测方案存在的训练样本少、难以处理多义词、分类性能不太理想等问题,提出一种ELMo-TextCNN检测模型.该模型首先采用迁移学习思想,利用预训练的ELMo(embeddings from language models)生成动态词向量,不仅解决了网络欺凌样本规模小的问题,而且由于ELMo采用了双向长短期记忆(bi-directional long short-term memory,BiLSTM)网络结构,会根据上下文推断每个词对应的词向量,能够根据语境理解多义词.该模型再通过擅长处理短文本数据的TextCNN(text convolutional neural network)提取文本特征,最后经过全连接层输出分类结果.实验结果证明,提出的ELMo-TextCNN检测方法能够处理一词多义,并获得更好的分类检测效果. 展开更多
关键词 网络欺凌检测 深度学习 迁移学习 ELMo模型 textcnn模型
在线阅读 下载PDF
基于BERT的多模型融合的Web攻击检测方法 被引量:1
3
作者 袁平宇 邱林 《计算机工程》 CAS CSCD 北大核心 2024年第11期197-206,共10页
传统Web攻击检测方法准确率不高,不能有效防范Web攻击。针对该问题,提出一种基于变换器的双向编码器表示(BERT)的预训练模型、文本卷积神经网络(TextCNN)和双向长短期记忆网络(BiLSTM)多模型融合的Web攻击检测方法。先将HTTP请求进行预... 传统Web攻击检测方法准确率不高,不能有效防范Web攻击。针对该问题,提出一种基于变换器的双向编码器表示(BERT)的预训练模型、文本卷积神经网络(TextCNN)和双向长短期记忆网络(BiLSTM)多模型融合的Web攻击检测方法。先将HTTP请求进行预处理,再通过BERT进行训练得到具备上下文依赖的特征向量,并用TextCNN模型进一步提取其中的高阶语义特征,作为BiLSTM的输入,最后利用Softmax函数进行分类检测。在HTTP CSIC 2010和恶意URL检测两个数据集上对所提方法进行验证,结果表明,与支持向量机(SVM)、逻辑回归(LR)等传统的机器学习方法和现有较新的方法相比,基于BERT的多模型融合的Web攻击检测方法在准确率、精确率、召回率和F1值指标上均表现更优(准确率和F1值的最优值都在99%以上),能准确检测Web攻击。 展开更多
关键词 Web攻击检测 基于变换器的双向编码器表示 多模型融合 HTTP请求 文本卷积神经网络 双向长短期记忆网络
在线阅读 下载PDF
基于BERT模型的中文短文本分类算法 被引量:90
4
作者 段丹丹 唐加山 +1 位作者 温勇 袁克海 《计算机工程》 CAS CSCD 北大核心 2021年第1期79-86,共8页
针对现有中文短文本分类算法通常存在特征稀疏、用词不规范和数据海量等问题,提出一种基于Transformer的双向编码器表示(BERT)的中文短文本分类算法,使用BERT预训练语言模型对短文本进行句子层面的特征向量表示,并将获得的特征向量输入S... 针对现有中文短文本分类算法通常存在特征稀疏、用词不规范和数据海量等问题,提出一种基于Transformer的双向编码器表示(BERT)的中文短文本分类算法,使用BERT预训练语言模型对短文本进行句子层面的特征向量表示,并将获得的特征向量输入Softmax回归模型进行训练与分类。实验结果表明,随着搜狐新闻文本数据量的增加,该算法在测试集上的整体F1值最高达到93%,相比基于TextCNN模型的短文本分类算法提升6个百分点,说明其能有效表示句子层面的语义信息,具有更好的中文短文本分类效果。 展开更多
关键词 中文短文本分类 基于Transformer的双向编码器表示 Softmax回归模型 textcnn模型 word2vec模型
在线阅读 下载PDF
融合局部语义特征的学者细粒度信息提取方法 被引量:3
5
作者 田悦霖 黄瑞章 任丽娜 《计算机应用》 CSCD 北大核心 2023年第9期2707-2714,共8页
从学者主页中提取的学者细粒度信息(如学者研究方向、教育经历等)在大规模专业人才库的创建等方面具有非常重要的应用价值。针对现有学者细粒度信息提取方法无法有效利用上下文语义联系的问题,提出一种融合局部语义特征的学者信息提取方... 从学者主页中提取的学者细粒度信息(如学者研究方向、教育经历等)在大规模专业人才库的创建等方面具有非常重要的应用价值。针对现有学者细粒度信息提取方法无法有效利用上下文语义联系的问题,提出一种融合局部语义特征的学者信息提取方法,利用局部范围文本的语义联系对学者主页进行细粒度信息抽取。首先,通过全词掩码中文预训练模型RoBERTa-wwm-ext学习通用语义表征;之后将通用语义表征中的目标句表征向量与局部相邻文本表征向量共同输入卷积神经网络(CNN)实现局部语义融合,从而获得更高维度的目标句表征向量;最终将目标句表征向量从高维度空间映射到低维度标签空间实现学者主页细粒度信息的抽取。实验结果表明,使用此融合局部语义特征的方法进行学者细粒度信息提取的宏平均F1值达到93.43%,与未融合局部语义的RoBERTa-wwm-ext-TextCNN方法相比提高了8.60个百分点,验证了所提方法在学者细粒度信息提取任务上的有效性。 展开更多
关键词 学者信息提取 预训练模型 局部语义融合 textcnn 特征提取
在线阅读 下载PDF
基于自然语言学习的智能云导诊技术 被引量:3
6
作者 汤人杰 江涛 杨巧节 《电信科学》 2019年第4期139-145,共7页
分析了目前导诊系统存在的主要问题,根据目前学术界研究的智能导诊系统现状,创造性地提出了基于海量患者病情自述,利用多种机器学习算法,形成了病情自述自学习体系,实现了针对病人自述的智能导诊。该平台利用网络爬虫技术获取了国际国... 分析了目前导诊系统存在的主要问题,根据目前学术界研究的智能导诊系统现状,创造性地提出了基于海量患者病情自述,利用多种机器学习算法,形成了病情自述自学习体系,实现了针对病人自述的智能导诊。该平台利用网络爬虫技术获取了国际国内主流医疗机构科室设置以及海量的病人病情描述,形成了基于国际标准的病理知识库及病情自述知识库,为后续的智能文本识别奠定了基础。同时在算法上进行了创新,构建了注意力(attention)与文本积卷(TextCNN)组合模型,提升了导诊的准确性。 展开更多
关键词 智能导诊 attention模型 textcnn
在线阅读 下载PDF
基于RoBERTa-WWM的大学生论坛情感分析模型 被引量:21
7
作者 王曙燕 原柯 《计算机工程》 CAS CSCD 北大核心 2022年第8期292-298,305,共8页
大学生论坛语句具有篇幅短、口语化、多流行用语等特点,传统的情感分析模型难以对其进行精准的语义特征表示,并且未充分关注语句的局部特征与上下文语境。提出一种基于RoBERTa-WWM的大学生情感分析模型。通过RoBERTa-WWM模型将论坛文本... 大学生论坛语句具有篇幅短、口语化、多流行用语等特点,传统的情感分析模型难以对其进行精准的语义特征表示,并且未充分关注语句的局部特征与上下文语境。提出一种基于RoBERTa-WWM的大学生情感分析模型。通过RoBERTa-WWM模型将论坛文本语句转化为语义特征表示,并将其输入到文本卷积神经网络中,以提取语句的局部语义特征,同时利用双向门控循环单元网络对局部语义特征进行双向处理,获得全面的上下文语义信息。在此基础上,通过Softmax分类器计算语句在情感标签中的概率向量,选择最大值表示的情感标签作为最终输出的情感标签。实验结果表明,相比RoBERTa-WWM、EK-INIT-CNN、BERT等模型,该模型在大学生论坛与NLPCC2014数据集上具有较优的分类性能,并且在大学生论坛数据集上宏平均精准率、宏平均召回率、宏平均F1值和微平均F1值分别为89.43%、90.43%、90.12%和92.48%。 展开更多
关键词 深度学习 大学生情感分析 RoBERTa-WWM模型 文本卷积神经网络 双向门控循环单元网络
在线阅读 下载PDF
一种情感可控的古诗自动生成模型
8
作者 钟志峰 晏阳天 +2 位作者 何佳伟 夏一帆 张龑 《现代电子技术》 2023年第4期154-160,共7页
古诗是中华民族重要的非物质文化遗产,使用计算机实现古诗的自动生成已成为一个热门的研究课题,但现有的古诗生成方法在生成诗句与主题的关联性上表现不佳且无法控制情感的表达。为解决这些问题,文中基于序列到序列(Seq2Seq)模型,提出... 古诗是中华民族重要的非物质文化遗产,使用计算机实现古诗的自动生成已成为一个热门的研究课题,但现有的古诗生成方法在生成诗句与主题的关联性上表现不佳且无法控制情感的表达。为解决这些问题,文中基于序列到序列(Seq2Seq)模型,提出一种通过关键字和情感分类词共同控制绝句诗生成的方法。具体实现过程分为两个阶段:首先使用TextCNN和TextRank算法分别对收集的古诗进行情感分类和关键字提取,自行构建实验数据集;其次针对古诗主题与情感表达不准确的问题,引入带注意力机制的Seq2Seq模型,在模型的编码端和译码端使用门控神经单元(GRU),通过4个关键字和情感分类词控制最终绝句诗的生成,并在生成阶段使用集束搜索代替传统的贪心搜索来增加生成古诗的多样性。对比实验结果表明,所提方法生成绝句诗的效果在自动评价和人工评价上均优于基准模型,对于内容与情感的表达更加准确和有效。 展开更多
关键词 古诗生成 序列到序列模型 注意力机制 GRU神经网络 情感控制 textcnn算法 自然语言处理 字嵌入
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部