期刊文献+
共找到23篇文章
< 1 2 >
每页显示 20 50 100
基于双向编码表示转换的双模态软件分类模型
1
作者 付晓峰 陈威岐 +1 位作者 孙曜 潘宇泽 《浙江大学学报(工学版)》 EI CAS CSCD 北大核心 2024年第11期2239-2246,共8页
针对已有方法在软件分类方面只考虑单一分类因素和精确率较低的不足,提出基于双向编码表示转换(BERT)的双模态软件分类方法.该方法遵循最新的国家标准对软件进行分类,通过集成基于代码的BERT(CodeBERT)和基于掩码语言模型的纠错BERT(Mac... 针对已有方法在软件分类方面只考虑单一分类因素和精确率较低的不足,提出基于双向编码表示转换(BERT)的双模态软件分类方法.该方法遵循最新的国家标准对软件进行分类,通过集成基于代码的BERT(CodeBERT)和基于掩码语言模型的纠错BERT(MacBERT)双向编码的优势,其中CodeBERT用于深入分析源码内容,MacBERT处理文本描述信息如注释和文档,利用这2种双模态信息联合生成词嵌入.结合卷积神经网络(CNN)提取局部特征,通过提出的交叉自注意力机制(CSAM)融合模型结果,实现对复杂软件系统的准确分类.实验结果表明,本文方法在同时考虑文本和源码数据的情况下精确率高达93.3%,与从奥集能和gitee平台收集并处理的数据集上训练的BERT模型和CodeBERT模型相比,平均精确率提高了5.4%.这表明了双向编码和双模态分类方法在软件分类中的高效性和准确性,证明了提出方法的实用性. 展开更多
关键词 软件分类 双向编码表示转换(bert) 卷积神经网络 双模态 交叉自注意力机制
在线阅读 下载PDF
利用BERT和覆盖率机制改进的HiNT文本检索模型 被引量:4
2
作者 邸剑 刘骏华 曹锦纲 《智能系统学报》 CSCD 北大核心 2024年第3期719-727,共9页
为有效提升文本语义检索的准确度,本文针对当前文本检索模型衡量查询和文档的相关性时不能很好地解决文本歧义和一词多义等问题,提出一种基于改进的分层神经匹配模型(hierarchical neural matching model,HiNT)。该模型先对文档的各个... 为有效提升文本语义检索的准确度,本文针对当前文本检索模型衡量查询和文档的相关性时不能很好地解决文本歧义和一词多义等问题,提出一种基于改进的分层神经匹配模型(hierarchical neural matching model,HiNT)。该模型先对文档的各个段提取关键主题词,然后用基于变换器的双向编码器(bidirectional encoder representations from transformers,BERT)模型将其编码为多个稠密的语义向量,再利用引入覆盖率机制的局部匹配层进行处理,使模型可以根据文档的局部段级别粒度和全局文档级别粒度进行相关性计算,提高检索的准确率。本文提出的模型在MS MARCO和webtext2019zh数据集上与多个检索模型进行对比,取得了最优结果,验证了本文提出模型的有效性。 展开更多
关键词 基于变换器的双向编码器 分层神经匹配模型 覆盖率机制 文本检索 语义表示 特征提取 自然语言处理 相似度 多粒度
在线阅读 下载PDF
知识增强的BERT短文本分类算法 被引量:3
3
作者 傅薛林 金红 +2 位作者 郑玮浩 张奕 陶小梅 《计算机工程与设计》 北大核心 2024年第7期2027-2033,共7页
为解决短文本信息不全且缺乏领域知识导致关键信息难以充分挖掘而造成的深度学习模型分类性能不足等问题,提出一种知识增强的双向编码器表示转换器(BERT)短文本分类算法(KE-BERT)。提出一种建模短文本与领域知识的方法,通过知识图谱进... 为解决短文本信息不全且缺乏领域知识导致关键信息难以充分挖掘而造成的深度学习模型分类性能不足等问题,提出一种知识增强的双向编码器表示转换器(BERT)短文本分类算法(KE-BERT)。提出一种建模短文本与领域知识的方法,通过知识图谱进行领域知识的引入;提出一种知识适配器,通过知识适配器在BERT的各个编码层之间进行知识增强。通过在公开的短文本数据集上,将KE-BERT与其它深度学习模型相比较,该模型的F1均值和准确率均值达到93.46%和91.26%,结果表明了所提模型性能表现良好。 展开更多
关键词 短文本分类 深度学习 双向编码器表示转换器 知识图谱 领域知识 知识适配器 知识增强
在线阅读 下载PDF
基于MacBERT与对抗训练的机器阅读理解模型 被引量:1
4
作者 周昭辰 方清茂 +2 位作者 吴晓红 胡平 何小海 《计算机工程》 CAS CSCD 北大核心 2024年第5期41-50,共10页
机器阅读理解旨在让机器像人类一样理解自然语言文本,并据此进行问答任务。近年来,随着深度学习和大规模数据集的发展,机器阅读理解引起了广泛关注,但是在实际应用中输入的问题通常包含各种噪声和干扰,这些噪声和干扰会影响模型的预测... 机器阅读理解旨在让机器像人类一样理解自然语言文本,并据此进行问答任务。近年来,随着深度学习和大规模数据集的发展,机器阅读理解引起了广泛关注,但是在实际应用中输入的问题通常包含各种噪声和干扰,这些噪声和干扰会影响模型的预测结果。为了提高模型的泛化能力和鲁棒性,提出一种基于掩码校正的来自Transformer的双向编码器表示(Mac BERT)与对抗训练(AT)的机器阅读理解模型。首先利用Mac BERT对输入的问题和文本进行词嵌入转化为向量表示;然后根据原始样本反向传播的梯度变化在原始词向量上添加微小扰动生成对抗样本;最后将原始样本和对抗样本输入双向长短期记忆(Bi LSTM)网络进一步提取文本的上下文特征,输出预测答案。实验结果表明,该模型在简体中文数据集CMRC2018上的F1值和精准匹配(EM)值分别较基线模型提高了1.39和3.85个百分点,在繁体中文数据集DRCD上的F1值和EM值分别较基线模型提高了1.22和1.71个百分点,在英文数据集SQu ADv1.1上的F1值和EM值分别较基线模型提高了2.86和1.85个百分点,优于已有的大部分机器阅读理解模型,并且在真实问答结果上与基线模型进行对比,结果验证了该模型具有更强的鲁棒性和泛化能力,在输入的问题存在噪声的情况下性能更好。 展开更多
关键词 机器阅读理解 对抗训练 预训练模型 掩码校正的来自Transformer的双向编码器表示 双向长短期记忆网络
在线阅读 下载PDF
基于BERT的多模型融合的Web攻击检测方法 被引量:1
5
作者 袁平宇 邱林 《计算机工程》 CAS CSCD 北大核心 2024年第11期197-206,共10页
传统Web攻击检测方法准确率不高,不能有效防范Web攻击。针对该问题,提出一种基于变换器的双向编码器表示(BERT)的预训练模型、文本卷积神经网络(TextCNN)和双向长短期记忆网络(BiLSTM)多模型融合的Web攻击检测方法。先将HTTP请求进行预... 传统Web攻击检测方法准确率不高,不能有效防范Web攻击。针对该问题,提出一种基于变换器的双向编码器表示(BERT)的预训练模型、文本卷积神经网络(TextCNN)和双向长短期记忆网络(BiLSTM)多模型融合的Web攻击检测方法。先将HTTP请求进行预处理,再通过BERT进行训练得到具备上下文依赖的特征向量,并用TextCNN模型进一步提取其中的高阶语义特征,作为BiLSTM的输入,最后利用Softmax函数进行分类检测。在HTTP CSIC 2010和恶意URL检测两个数据集上对所提方法进行验证,结果表明,与支持向量机(SVM)、逻辑回归(LR)等传统的机器学习方法和现有较新的方法相比,基于BERT的多模型融合的Web攻击检测方法在准确率、精确率、召回率和F1值指标上均表现更优(准确率和F1值的最优值都在99%以上),能准确检测Web攻击。 展开更多
关键词 Web攻击检测 基于变换器的双向编码器表示 多模型融合 HTTP请求 文本卷积神经网络 双向长短期记忆网络
在线阅读 下载PDF
基于BERT-BiLSTM-CRF的隧道施工安全领域命名实体识别 被引量:5
6
作者 张念 周彩凤 +3 位作者 万飞 刘非 王耀耀 徐栋梁 《中国安全科学学报》 CSCD 北大核心 2024年第12期56-63,共8页
为解决隧道施工安全领域传统命名实体识别(NER)方法存在的实体边界模糊、小样本学习困难、特征信息提取不够全面准确等问题,提出一种基于变换器的双向编码器表征(BERT)-双向长短时记忆(BiLSTM)网络-条件随机场(CRF)模型的隧道施工事故... 为解决隧道施工安全领域传统命名实体识别(NER)方法存在的实体边界模糊、小样本学习困难、特征信息提取不够全面准确等问题,提出一种基于变换器的双向编码器表征(BERT)-双向长短时记忆(BiLSTM)网络-条件随机场(CRF)模型的隧道施工事故文本实体识别方法。首先,利用BERT模型将隧道施工事故文本编码得到蕴含语义特征的词向量;然后,将BERT模型训练后输出的词向量输入BiLSTM模型进一步获取隧道施工事故文本的上下文特征并进行标签概率预测;最后,利用CRF层的标注规则的约束,修正BiLSTM模型的输出结果,得到最大概率序列标注结果,从而实现对隧道施工事故文本标签的智能分类。将该模型与其他4种常用的传统NER模型在隧道施工安全事故语料数据集上进行对比试验,试验结果表明:BERT-BiLSTM-CRF模型的识别准确率、召回率和F 1值分别达到88%、89%和88%,实体识别效果优于其他基准模型。利用所建立的NER模型识别实际隧道施工事故文本中的实体,验证了其在隧道施工安全领域中的应用效果。 展开更多
关键词 变换器的双向编码器表征(bert) 双向长短时记忆(BiLSTM)网络 条件随机场(CRF) 隧道施工 安全领域 命名实体识别(NER) 深度学习
在线阅读 下载PDF
南美白对虾养殖领域中文命名实体识别数据集构建
7
作者 彭小红 邓峰 余应淮 《计算机工程与应用》 北大核心 2025年第9期353-362,共10页
该研究致力于构建一个高质量的数据集,用于南美白对虾养殖领域的命名实体识别(named entity recognition,NER)任务,命名为VamNER。为确保数据集的多样性,从CNKI数据库中收集了近10年的高质量论文,并结合权威书籍进行语料构建。邀请专家... 该研究致力于构建一个高质量的数据集,用于南美白对虾养殖领域的命名实体识别(named entity recognition,NER)任务,命名为VamNER。为确保数据集的多样性,从CNKI数据库中收集了近10年的高质量论文,并结合权威书籍进行语料构建。邀请专家讨论实体类型,并经过专业培训的标注人员使用IOB2标注格式进行标注,标注过程分为预标注和正式标注两个阶段以提高效率。在预标注阶段,标注者间一致性(inter-annotation agreement,IAA)达到0.87,表明标注人员的一致性较高。最终,VamNER包含6115个句子,总字符数达384602,涵盖10个实体类型,共有12814个实体。研究通过与多个通用领域数据集和一个特定领域数据集进行比较,揭示了VamNER的独特特性。在实验中使用了预训练的基于变换器的双向编码器表示(bidirectional encoder representations from Transformers,BERT)模型、双向长短期记忆神经网络(bidirectional long short-term memory network,BiLSTM)和条件随机场模型(conditional random fields,CRF),最优模型在测试集上的F1值达到82.8%。VamNER成为首个专注于南美白对虾养殖领域的NER数据集,为中文特定领域NER研究提供了丰富资源,有望推动水产养殖领域NER研究的发展。 展开更多
关键词 命名实体识别 VamNER数据集 标注者间一致性(IAA) 基于变换器的双向编码器表示(bert) 双向长短期记忆神经网络(BiLSTM) 条件随机场(CRF)
在线阅读 下载PDF
基于用户数据特征深度挖掘的快速图书检索算法
8
作者 窦淑庆 刘思豆 《现代电子技术》 北大核心 2025年第14期137-142,共6页
针对传统图书推荐系统所得到的计算结果滞后于实时需求且准确性较低的缺陷,文中基于用户画像数据,提出一种快速图书检索算法。该算法在用户画像构建部分对静态属性抽取和动态标签行为进行建模。在图书特征提取模型中,使用BERT-Word2Vec... 针对传统图书推荐系统所得到的计算结果滞后于实时需求且准确性较低的缺陷,文中基于用户画像数据,提出一种快速图书检索算法。该算法在用户画像构建部分对静态属性抽取和动态标签行为进行建模。在图书特征提取模型中,使用BERT-Word2Vec作为基础框架进行多模态特征提取,并利用双塔深度匹配模型构建了用户MLP塔和图书改进CNN塔,对特征进行充分细致的多维分析。模型通过将实时反馈机制Kafka-Redis流处理算法与会话注意力加权融合,最终实现了场景化的推荐。实验测试结果显示,NDCG@10指标较最优基准提升了约21.0%,行为反馈延迟在峰值500 QPS流量下小于等于3.5 s。表明所提算法能够为知识服务场景提供兼具准确性、时效性与场景适应性的信息推荐解决方案。 展开更多
关键词 用户画像 双向编码器表示技术 双塔深度匹配模型 多层感知器 卷积神经网络 推荐算法
在线阅读 下载PDF
基于MCA-BERT的数学文本分类方法 被引量:3
9
作者 杨先凤 龚睿 李自强 《计算机工程与设计》 北大核心 2023年第8期2312-2319,共8页
为尽可能地提高数学文本分类的效果,通过构建数学文本数据集并对该数据集进行分析,提出增强文本实体信息的多通道注意力机制-Transformers的双向编码器表示(MCA-BERT)模型。通过Word2vec词向量的平均池化获得句子级的实体信息,通过注意... 为尽可能地提高数学文本分类的效果,通过构建数学文本数据集并对该数据集进行分析,提出增强文本实体信息的多通道注意力机制-Transformers的双向编码器表示(MCA-BERT)模型。通过Word2vec词向量的平均池化获得句子级的实体信息,通过注意力机制给不同词赋予不同权重,获得词语级的实体信息,将两类实体信息与BERT输出的上下文信息拼接,通过Softmax层得到分类结果。该方法在数学文本数据集上的F1值相比BERT单通道的方法提高了2.1个百分点。实验结果说明,该方法能够有效增强文本实体信息,获得更好的分类效果。 展开更多
关键词 数学文本分类 实体信息 注意力机制 多通道 双向编码器表示 词向量 分类器
在线阅读 下载PDF
单词嵌入表示学习综述
10
作者 刘建伟 高悦 《控制理论与应用》 EI CAS CSCD 北大核心 2022年第7期1171-1193,共23页
单词嵌入表示学习是自然语言处理(NLP)中最基本但又很重要的研究内容,是所有后续高级语言处理任务的基础.早期的单词独热表示忽略了单词的语义信息,在应用中常常会遇到数据稀疏的问题,后来随着神经语言模型(NLM)的提出,单词被表示为低... 单词嵌入表示学习是自然语言处理(NLP)中最基本但又很重要的研究内容,是所有后续高级语言处理任务的基础.早期的单词独热表示忽略了单词的语义信息,在应用中常常会遇到数据稀疏的问题,后来随着神经语言模型(NLM)的提出,单词被表示为低维实向量,有效地解决了数据稀疏的问题.单词级的嵌入表示是最初的基于神经网络语言模型的输入表示形式,后来人们又从不同角度出发,提出了诸多变种.本文从模型涉及到的语种数的角度出发,将单词嵌入表示模型分为单语言单词嵌入表示模型和跨语言单词嵌入表示模型两大类.在单语言中,根据模型输入的颗粒度又将模型分为字符级、单词级、短语级及以上的单词嵌入表示模型,不同颗粒度级别的模型的应用场景不同,各有千秋.再将这些模型按照是否考虑上下文信息再次分类,单词嵌入表示还经常与其它场景的模型结合,引入其他模态或关联信息帮助学习单词嵌入表示,提高模型的表现性能,故本文也列举了一些单词嵌入表示模型和其它领域模型的联合应用.通过对上述模型进行研究,将每个模型的特点进行总结和比较,在文章最后给出了未来单词嵌入表示的研究方向和展望. 展开更多
关键词 单词嵌入表示学习 神经网络 语言模型 跨语言 双向编码器表示 信息瓶颈
在线阅读 下载PDF
基于BERT模型的中文短文本分类算法 被引量:90
11
作者 段丹丹 唐加山 +1 位作者 温勇 袁克海 《计算机工程》 CAS CSCD 北大核心 2021年第1期79-86,共8页
针对现有中文短文本分类算法通常存在特征稀疏、用词不规范和数据海量等问题,提出一种基于Transformer的双向编码器表示(BERT)的中文短文本分类算法,使用BERT预训练语言模型对短文本进行句子层面的特征向量表示,并将获得的特征向量输入S... 针对现有中文短文本分类算法通常存在特征稀疏、用词不规范和数据海量等问题,提出一种基于Transformer的双向编码器表示(BERT)的中文短文本分类算法,使用BERT预训练语言模型对短文本进行句子层面的特征向量表示,并将获得的特征向量输入Softmax回归模型进行训练与分类。实验结果表明,随着搜狐新闻文本数据量的增加,该算法在测试集上的整体F1值最高达到93%,相比基于TextCNN模型的短文本分类算法提升6个百分点,说明其能有效表示句子层面的语义信息,具有更好的中文短文本分类效果。 展开更多
关键词 中文短文本分类 基于Transformer的双向编码器表示 Softmax回归模型 TextCNN模型 word2vec模型
在线阅读 下载PDF
基于BERT模型的检验检测领域命名实体识别 被引量:1
12
作者 苏展鹏 李洋 +4 位作者 张婷婷 让冉 张龙波 蔡红珍 邢林林 《高技术通讯》 CAS 2022年第7期749-755,共7页
针对检验检测领域存在的实体语料匮乏、实体嵌套严重、实体类型冗杂繁多等问题,提出了一种结合双向编码器表示法(BERT)预处理语言模型、双向门控循环单元(BIGRU)双向轻编码模型和随机条件场(CRF)的命名实体识别方法。BERT-BIGRU-CRF(BGC... 针对检验检测领域存在的实体语料匮乏、实体嵌套严重、实体类型冗杂繁多等问题,提出了一种结合双向编码器表示法(BERT)预处理语言模型、双向门控循环单元(BIGRU)双向轻编码模型和随机条件场(CRF)的命名实体识别方法。BERT-BIGRU-CRF(BGC)模型首先利用BERT预处理模型结合上下文语义训练词向量;然后经过BIGRU层双向编码;最后在CRF层计算后输出最优结果。利用含有检测组织、检测项目、检测标准和检测仪器4种命名实体的检验检测领域数据集来训练模型,结果表明BGC模型的准确率、召回率和F1值都优于不加入BERT的对比模型。同时对比BERT-BILSTM-CRF模型,BGC模型在训练时间上缩短了6%。 展开更多
关键词 命名实体识别 双向编码器表示法(bert) 检验检测领域 深度学习 双向门控循环单元(BIGRU)
在线阅读 下载PDF
融合BERT语义加权与网络图的关键词抽取方法 被引量:16
13
作者 李俊 吕学强 《计算机工程》 CAS CSCD 北大核心 2020年第9期89-94,共6页
结合文档本身的结构信息与外部词语的语义信息,提出一种融合BERT词向量与TextRank的关键词抽取方法。在基于网络图的TextRank方法基础上,引入语义差异性并利用BERT词向量加权方式优化TextRank转移概率矩阵计算过程,同时通过迭代运算对... 结合文档本身的结构信息与外部词语的语义信息,提出一种融合BERT词向量与TextRank的关键词抽取方法。在基于网络图的TextRank方法基础上,引入语义差异性并利用BERT词向量加权方式优化TextRank转移概率矩阵计算过程,同时通过迭代运算对文档中的词语进行综合影响力得分排序,最终提取得分最高的Top N个词语作为关键词。实验结果表明,当选取Top3、Top5、Top7和Top10个关键词时,与基于词向量聚类质心与TextRank加权的关键词抽取方法相比,该方法的平均F值提升了2.5%,关键词抽取效率更高。 展开更多
关键词 关键词抽取 语义关系 词向量 TextRank方法 基于Transformer的双向编码器表示
在线阅读 下载PDF
基于BERT的灾害三元组信息抽取优化研究 被引量:9
14
作者 宋敦江 杨霖 钟少波 《中国安全科学学报》 CAS CSCD 北大核心 2022年第2期115-120,共6页
为从网络媒体文本中快速、准确提取灾害三元组信息,利用自然语言处理(NLP)技术,研究灾害三元组信息抽取应用及其算法优化。通过双向编码器表示(BERT)预训练语言模型,应用于地质灾害三元组信息提取的实例中,针对模型由于底层多头注意力(M... 为从网络媒体文本中快速、准确提取灾害三元组信息,利用自然语言处理(NLP)技术,研究灾害三元组信息抽取应用及其算法优化。通过双向编码器表示(BERT)预训练语言模型,应用于地质灾害三元组信息提取的实例中,针对模型由于底层多头注意力(MHA)机制会导致“低秩瓶颈”问题,对此,通过增大模型key-size对其进行优化。结果表明:所提方法能够显著提升从新闻报道等文本中提取地质灾害种类、发生地点、发生时间等关键信息的容错率及精准率;可得到对地质等灾害空间分布情况和趋势的分析,进而为预案编制、应急资源优化配置、区域监测预警等灾害应急管理工作提供科学分析和决策信息支持。 展开更多
关键词 然语言处理(NLP) 双向编码器表示(bert) 低秩瓶颈 多头注意力(MHA) 灾害信息
在线阅读 下载PDF
融合BERT的多层次语义协同模型情感分析研究 被引量:16
15
作者 胡任远 刘建华 +2 位作者 卜冠南 张冬阳 罗逸轩 《计算机工程与应用》 CSCD 北大核心 2021年第13期176-184,共9页
由于基于变换器的双向编码器表征技术(Bidirectional Encoder Representations from Transformers,BERT)的提出,改变了传统神经网络解决句子级文本情感分析问题的方法。目前的深度学习模型BERT本身学习模式为无监督学习,其需要依赖后续... 由于基于变换器的双向编码器表征技术(Bidirectional Encoder Representations from Transformers,BERT)的提出,改变了传统神经网络解决句子级文本情感分析问题的方法。目前的深度学习模型BERT本身学习模式为无监督学习,其需要依赖后续任务补全推理和决策环节,故存在缺乏目标领域知识的问题。提出一种多层协同卷积神经网络模型(Multi-level Convolutional Neural Network,MCNN),该模型能学习到不同层次的情感特征来补充领域知识,并且使用BERT预训练模型提供词向量,通过BERT学习能力的动态调整将句子真实的情感倾向嵌入模型,最后将不同层次模型输出的特征信息同双向长短期记忆网络输出信息进行特征融合后计算出最终的文本情感性向。实验结果表明即使在不同语种的语料中,该模型对比传统神经网络和近期提出的基于BERT深度学习的模型,情感极性分类的能力有明显提升。 展开更多
关键词 深度学习 文本情感分析 基于变换器的双向编码器表征技术(bert) 卷积神经网络(CNN) 协同结构
在线阅读 下载PDF
基于BERT-CNN的Webshell流量检测系统设计与实现 被引量:7
16
作者 江魁 余志航 +1 位作者 陈小雷 李宇豪 《计算机应用》 CSCD 北大核心 2023年第S01期126-132,共7页
Webshell是一种网站后门程序,常被黑客用于入侵服务器后对服务器进行控制,给网站带来严重的安全隐患。针对以往基于流量的机器学习检测Webshell方法存在特征选择不全、向量化不准确、模型设计不合理导致的检测效果不佳问题,设计并实现... Webshell是一种网站后门程序,常被黑客用于入侵服务器后对服务器进行控制,给网站带来严重的安全隐患。针对以往基于流量的机器学习检测Webshell方法存在特征选择不全、向量化不准确、模型设计不合理导致的检测效果不佳问题,设计并实现了一种将基于变换器的双向编码器表示技术(BERT)与卷积神经网络(CNN)相结合的Webshell流量检测系统,通过分析超文本传输协议(HTTP)报文中各个字段信息,提取其中具有Webshell信息的特征字段,使用BERT模型对特征进行向量化编码,并结合一维CNN模型从不同空间维度检测特征建立分类模型,最后使用模型对流量数据进行检测调优。实验结果表明,与以往基于流量检测方法相比,该检测系统在准确率、召回率和F1值等性能指标上表现更好,分别达到99.84%、99.83%、99.84%。 展开更多
关键词 Webshell检测 深度学习 流量检测 基于变换器的双向编码器表示 卷积神经网络
在线阅读 下载PDF
基于命名实体识别的水电工程施工安全规范实体识别模型 被引量:1
17
作者 陈述 张超 +2 位作者 陈云 张光飞 李智 《中国安全科学学报》 CAS CSCD 北大核心 2024年第9期19-26,共8页
为准确识别水电工程施工安全规范实体,通过预训练模型中双向编码器表征法(BERT)挖掘文本中丰富的语义信息,利用双向长短期记忆神经网络(BILSTM)提取规范实体语义特征,依靠条件随机场(CRF)分析实体之间的依赖关系,构建水电工程施工安全... 为准确识别水电工程施工安全规范实体,通过预训练模型中双向编码器表征法(BERT)挖掘文本中丰富的语义信息,利用双向长短期记忆神经网络(BILSTM)提取规范实体语义特征,依靠条件随机场(CRF)分析实体之间的依赖关系,构建水电工程施工安全规范的命名实体识别模型;以《水利水电工程施工安全防护技术规范》(SL714—2015)为例,计算命名实体识别模型精确率。结果表明:BERT-BILSTM-CRF模型准确率为94.35%,相比于3种传统方法,准确率显著提高。研究成果有助于水电工程施工安全规范知识智能管理,为施工安全隐患智能判别提供支撑。 展开更多
关键词 命名实体识别 水电工程施工 安全规范 双向编码器表征法(bert) 双向长短期记忆神经网络(BILSTM) 条件随机场(CRF)
在线阅读 下载PDF
基于层间融合滤波器与社交神经引文网络的推荐算法 被引量:1
18
作者 杨兴耀 李志林 +3 位作者 张祖莲 于炯 陈嘉颖 王东晓 《计算机工程》 CAS CSCD 北大核心 2024年第11期98-106,共9页
推荐算法是一种用于解决信息过载问题的方法,引文推荐通过引文上下文能够自动匹配候选论文列表。现有基于神经引文网络模型在引文上下文数据预处理的过程中,存在文本噪声和上下文学习不充分的问题。为此,提出一种基于层间融合滤波器和... 推荐算法是一种用于解决信息过载问题的方法,引文推荐通过引文上下文能够自动匹配候选论文列表。现有基于神经引文网络模型在引文上下文数据预处理的过程中,存在文本噪声和上下文学习不充分的问题。为此,提出一种基于层间融合滤波器和社交神经引文网络的推荐算法FS-Rec。首先,利用具有层间融合滤波器的BERT模型预处理引文上下文,在频域内从所有频率中提取有意义的特征,缓解引文上下文数据的噪声,同时在频域中对多层信息进行融合,增强上下文表示学习的能力;然后,在引文作者嵌入中引入社交关系,与其他引文信息嵌入通过编码器获得表示,将这些表示与经过BERT预训练的引文上下文表示进行融合,得到最终表示;最后,根据最终表示生成引文文本预测。实验结果表明,相较于现有的上下文引文推荐模型,FS-Rec在2个基准数据集arXivCS和PubMed取得了更高的召回率和平均倒数排名(MMR),证明了模型的有效性。 展开更多
关键词 滤波器 自注意力机制 基于Transformer的双向编码器表示 引文推荐 预训练语言模型
在线阅读 下载PDF
面向行政执法案件文本的事件抽取研究 被引量:1
19
作者 屈潇雅 李兵 温立强 《计算机工程》 CAS CSCD 北大核心 2024年第9期63-71,共9页
行政执法的智能化水平是国家治理能力现代化的体现,数据是智能化发展的重要依托。在行政执法领域,各行政机关存储大量以文本形式记录的历史案件,这种非结构化的数据价值密度较低、可利用性不强。利用事件抽取技术从行政执法案件文本中... 行政执法的智能化水平是国家治理能力现代化的体现,数据是智能化发展的重要依托。在行政执法领域,各行政机关存储大量以文本形式记录的历史案件,这种非结构化的数据价值密度较低、可利用性不强。利用事件抽取技术从行政执法案件文本中快速高效地抽取案件职权类型、案发时间、案发地点等结构化信息,可推动行政机关对历史案件信息的利用和智能化执法办案研究。收集整理某城市的真实案例数据,并通过人工标注构建一个行政执法领域的数据集,根据行政执法案件文本的无触发词、文档级、格式不固定等文本特征,提出结合基于Transformer的双向编码器表示(BERT)和基于条件随机场的双向长短期记忆网络(BiLSTM-CRF)模型的两阶段事件抽取方法,通过文本多分类和序列标注依次完成事件类型检测和事件论元抽取任务。实验结果表明,事件类型检测任务的F1值达到99.54%,事件论元抽取任务的F1值达到97.36%,实现了对案件信息的有效抽取。 展开更多
关键词 行政执法案件 事件抽取 两阶段方法 基于Transformer的双向编码器表示模型 基于条件随机场的双向长短期记忆网络(BiLSTM-CRF)模型
在线阅读 下载PDF
融合多种类型语法信息的属性级情感分析模型 被引量:3
20
作者 肖泽管 陈清亮 《计算机科学与探索》 CSCD 北大核心 2022年第2期395-402,共8页
属性级情感分析(ABSA)的目标是识别出句子中属性的情感倾向。现有的方法大多使用注意力机制隐性地建模属性与上下文中情感表达的关系,而忽略了使用语法信息。一方面,属性的情感倾向与句子中的情感表达有紧密的联系,利用句子的句法结构... 属性级情感分析(ABSA)的目标是识别出句子中属性的情感倾向。现有的方法大多使用注意力机制隐性地建模属性与上下文中情感表达的关系,而忽略了使用语法信息。一方面,属性的情感倾向与句子中的情感表达有紧密的联系,利用句子的句法结构可以更直接地对两者建模;另一方面,由于现有的基准数据集较小,模型无法充分学习通用语法知识,这使得它们难以处理复杂的句型和情感表达。针对以上问题,提出一种利用多种类型语法信息的神经网络模型。该模型采用基于依存句法树的图卷积神经网络(GCN),并利用句法结构信息直接匹配属性与其对应情感表达,缓解冗余信息对分类的干扰。同时,使用预训练模型BERT具有多种类型的语法信息的中间层表示作为指导信息,给予模型更多的语法知识。每一层GCN的输入结合上一层GCN的输出和BERT中间层指导信息。最后将属性在最后一层GCN的表示作为特征进行情感倾向分类。通过在SemEval 2014 Task4 Restaurant、Laptop和Twitter数据集上的实验结果表明,提出模型的分类效果超越了很多基准模型。 展开更多
关键词 属性级 情感分析 基于变换器的双向编码器表示技术(bert) 依存句法树 图卷积神经网络(GCN)
在线阅读 下载PDF
上一页 1 2 下一页 到第
使用帮助 返回顶部