期刊文献+
共找到19篇文章
< 1 >
每页显示 20 50 100
基于双向编码表示转换的双模态软件分类模型
1
作者 付晓峰 陈威岐 +1 位作者 孙曜 潘宇泽 《浙江大学学报(工学版)》 EI CAS CSCD 北大核心 2024年第11期2239-2246,共8页
针对已有方法在软件分类方面只考虑单一分类因素和精确率较低的不足,提出基于双向编码表示转换(BERT)的双模态软件分类方法.该方法遵循最新的国家标准对软件进行分类,通过集成基于代码的BERT(CodeBERT)和基于掩码语言模型的纠错BERT(Mac... 针对已有方法在软件分类方面只考虑单一分类因素和精确率较低的不足,提出基于双向编码表示转换(BERT)的双模态软件分类方法.该方法遵循最新的国家标准对软件进行分类,通过集成基于代码的BERT(CodeBERT)和基于掩码语言模型的纠错BERT(MacBERT)双向编码的优势,其中CodeBERT用于深入分析源码内容,MacBERT处理文本描述信息如注释和文档,利用这2种双模态信息联合生成词嵌入.结合卷积神经网络(CNN)提取局部特征,通过提出的交叉自注意力机制(CSAM)融合模型结果,实现对复杂软件系统的准确分类.实验结果表明,本文方法在同时考虑文本和源码数据的情况下精确率高达93.3%,与从奥集能和gitee平台收集并处理的数据集上训练的BERT模型和CodeBERT模型相比,平均精确率提高了5.4%.这表明了双向编码和双模态分类方法在软件分类中的高效性和准确性,证明了提出方法的实用性. 展开更多
关键词 软件分类 双向编码表示转换(bert) 卷积神经网络 双模态 交叉自注意力机制
在线阅读 下载PDF
基于双向编码转换器和文本卷积神经网络的微博评论情感分类 被引量:7
2
作者 徐凯旋 李宪 潘亚磊 《复杂系统与复杂性科学》 CAS CSCD 北大核心 2021年第2期89-94,共6页
对微博多分句的评论,ELMo-Text CNN、GPT等模型不能准确提取文本上下文联系,导致分类效果不理想。为了解决此问题,采用BERT-Text CNN模型,利用BERT独特自注意力机制的双向编码转换器结构获得具有句子全局特征的字向量,将字向量输入到Tex... 对微博多分句的评论,ELMo-Text CNN、GPT等模型不能准确提取文本上下文联系,导致分类效果不理想。为了解决此问题,采用BERT-Text CNN模型,利用BERT独特自注意力机制的双向编码转换器结构获得具有句子全局特征的字向量,将字向量输入到Text CNN中,利用Text CNN捕获局部特征的能力,最终提取语义、语序以及上下文联系等高阶特征,解决了模型不能准确获取文本上下文联系的问题,实现了高准确率的微博评论细粒度情感分类。同时为验证该模型的优势,与现有模型进行比较,在simplifyweibo_4_moods数据集上测试结果显示BERT-Text CNN模型在准确率、召回率以及F1指标方面均有提升。 展开更多
关键词 情感分类 双向编码转换器 文本卷积神经网络 自注意力机制
在线阅读 下载PDF
BTM-BERT模型在民航机务维修安全隐患自动分类中的应用
3
作者 陈芳 张亚博 《安全与环境学报》 CAS CSCD 北大核心 2024年第11期4366-4373,共8页
为界定民航机务维修安全隐患类别,实现安全隐患数据的自动分类,首先,利用构建的机务维修停用词库对安全隐患记录语料进行预处理。其次,运用词对主题模型(Biterm Topic Model,BTM)提取主题和关键词,确定了“员工未按规定对工作现场进行... 为界定民航机务维修安全隐患类别,实现安全隐患数据的自动分类,首先,利用构建的机务维修停用词库对安全隐患记录语料进行预处理。其次,运用词对主题模型(Biterm Topic Model,BTM)提取主题和关键词,确定了“员工未按规定对工作现场进行监管”等12类安全隐患。最后,根据BTM主题模型标注的数据集对算法进行微调,构建了基于变换器的双向编码(Bidirectional Encoder Representations from Transformers,BERT)算法的机务维修安全隐患记录自动分类模型,并与传统的分类算法进行对比。结果表明:所构建的模型可以实现民航机务维修安全隐患自动分类,其效果远高于传统机器学习支持向量机算法的效果,构建的分类模型的精确率、召回率和F 1较文本卷积神经网络算法分别提升了0.12、0.14和0.14,总体准确率达到了93%。 展开更多
关键词 安全工程 机务维修 词对主题模型(BTM) 基于变换器的双向编码(bert) 安全隐患 文本分类
在线阅读 下载PDF
知识增强的BERT短文本分类算法 被引量:3
4
作者 傅薛林 金红 +2 位作者 郑玮浩 张奕 陶小梅 《计算机工程与设计》 北大核心 2024年第7期2027-2033,共7页
为解决短文本信息不全且缺乏领域知识导致关键信息难以充分挖掘而造成的深度学习模型分类性能不足等问题,提出一种知识增强的双向编码器表示转换器(BERT)短文本分类算法(KE-BERT)。提出一种建模短文本与领域知识的方法,通过知识图谱进... 为解决短文本信息不全且缺乏领域知识导致关键信息难以充分挖掘而造成的深度学习模型分类性能不足等问题,提出一种知识增强的双向编码器表示转换器(BERT)短文本分类算法(KE-BERT)。提出一种建模短文本与领域知识的方法,通过知识图谱进行领域知识的引入;提出一种知识适配器,通过知识适配器在BERT的各个编码层之间进行知识增强。通过在公开的短文本数据集上,将KE-BERT与其它深度学习模型相比较,该模型的F1均值和准确率均值达到93.46%和91.26%,结果表明了所提模型性能表现良好。 展开更多
关键词 短文本分类 深度学习 双向编码器表示转换器 知识图谱 领域知识 知识适配器 知识增强
在线阅读 下载PDF
基于BERT-BiLSTM-CRF的隧道施工安全领域命名实体识别 被引量:3
5
作者 张念 周彩凤 +3 位作者 万飞 刘非 王耀耀 徐栋梁 《中国安全科学学报》 CSCD 北大核心 2024年第12期56-63,共8页
为解决隧道施工安全领域传统命名实体识别(NER)方法存在的实体边界模糊、小样本学习困难、特征信息提取不够全面准确等问题,提出一种基于变换器的双向编码器表征(BERT)-双向长短时记忆(BiLSTM)网络-条件随机场(CRF)模型的隧道施工事故... 为解决隧道施工安全领域传统命名实体识别(NER)方法存在的实体边界模糊、小样本学习困难、特征信息提取不够全面准确等问题,提出一种基于变换器的双向编码器表征(BERT)-双向长短时记忆(BiLSTM)网络-条件随机场(CRF)模型的隧道施工事故文本实体识别方法。首先,利用BERT模型将隧道施工事故文本编码得到蕴含语义特征的词向量;然后,将BERT模型训练后输出的词向量输入BiLSTM模型进一步获取隧道施工事故文本的上下文特征并进行标签概率预测;最后,利用CRF层的标注规则的约束,修正BiLSTM模型的输出结果,得到最大概率序列标注结果,从而实现对隧道施工事故文本标签的智能分类。将该模型与其他4种常用的传统NER模型在隧道施工安全事故语料数据集上进行对比试验,试验结果表明:BERT-BiLSTM-CRF模型的识别准确率、召回率和F 1值分别达到88%、89%和88%,实体识别效果优于其他基准模型。利用所建立的NER模型识别实际隧道施工事故文本中的实体,验证了其在隧道施工安全领域中的应用效果。 展开更多
关键词 变换器的双向编码器表征(bert) 双向长短时记忆(BiLSTM)网络 条件随机场(CRF) 隧道施工 安全领域 命名实体识别(NER) 深度学习
在线阅读 下载PDF
南美白对虾养殖领域中文命名实体识别数据集构建
6
作者 彭小红 邓峰 余应淮 《计算机工程与应用》 北大核心 2025年第9期353-362,共10页
该研究致力于构建一个高质量的数据集,用于南美白对虾养殖领域的命名实体识别(named entity recognition,NER)任务,命名为VamNER。为确保数据集的多样性,从CNKI数据库中收集了近10年的高质量论文,并结合权威书籍进行语料构建。邀请专家... 该研究致力于构建一个高质量的数据集,用于南美白对虾养殖领域的命名实体识别(named entity recognition,NER)任务,命名为VamNER。为确保数据集的多样性,从CNKI数据库中收集了近10年的高质量论文,并结合权威书籍进行语料构建。邀请专家讨论实体类型,并经过专业培训的标注人员使用IOB2标注格式进行标注,标注过程分为预标注和正式标注两个阶段以提高效率。在预标注阶段,标注者间一致性(inter-annotation agreement,IAA)达到0.87,表明标注人员的一致性较高。最终,VamNER包含6115个句子,总字符数达384602,涵盖10个实体类型,共有12814个实体。研究通过与多个通用领域数据集和一个特定领域数据集进行比较,揭示了VamNER的独特特性。在实验中使用了预训练的基于变换器的双向编码器表示(bidirectional encoder representations from Transformers,BERT)模型、双向长短期记忆神经网络(bidirectional long short-term memory network,BiLSTM)和条件随机场模型(conditional random fields,CRF),最优模型在测试集上的F1值达到82.8%。VamNER成为首个专注于南美白对虾养殖领域的NER数据集,为中文特定领域NER研究提供了丰富资源,有望推动水产养殖领域NER研究的发展。 展开更多
关键词 命名实体识别 VamNER数据集 标注者间一致性(IAA) 基于变换器的双向编码器表示(bert) 双向长短期记忆神经网络(BiLSTM) 条件随机场(CRF)
在线阅读 下载PDF
基于BERT提示的矿产资源管理规则检测方法研究 被引量:2
7
作者 胡容波 张广发 +1 位作者 王雅雯 方金云 《高技术通讯》 CAS 2023年第11期1136-1145,共10页
政策文本中管理规则检测是一个新兴的自然语言处理任务,在政策冲突检测、政策智能检索、事项合规性检查以及政务系统需求工程等方面具有重要应用价值。本文以矿产资源管理规则检测为研究目标,提出基于转换器的双向编码表征(BERT)提示的... 政策文本中管理规则检测是一个新兴的自然语言处理任务,在政策冲突检测、政策智能检索、事项合规性检查以及政务系统需求工程等方面具有重要应用价值。本文以矿产资源管理规则检测为研究目标,提出基于转换器的双向编码表征(BERT)提示的政策文本管理规则检测方法。该方法通过构建融入管理规则信息、带有[MASK]标记的提示模板,可以充分发挥掩码语言模型的自编码优势,有效激发BERT模型提取与管理规则相关的文本特征,增加模型稳定性;提出基于BERT模型进行管理规则检测的新应用模式,放弃使用[CLS]隐向量而采用[MASK]隐向量进行分类预测;在矿产资源管理规则数据集上的实验结果表明,该方法的准确率、宏平均F_(1)值、加权平均F_(1)值均优于基线方法,在公开数据集上的实验结果也表明了该方法的有效性。 展开更多
关键词 矿产资源 管理规则 文本分类 基于转换器双向编码表征(bert) 提示学习
在线阅读 下载PDF
基于BERT模型的检验检测领域命名实体识别 被引量:1
8
作者 苏展鹏 李洋 +4 位作者 张婷婷 让冉 张龙波 蔡红珍 邢林林 《高技术通讯》 CAS 2022年第7期749-755,共7页
针对检验检测领域存在的实体语料匮乏、实体嵌套严重、实体类型冗杂繁多等问题,提出了一种结合双向编码器表示法(BERT)预处理语言模型、双向门控循环单元(BIGRU)双向轻编码模型和随机条件场(CRF)的命名实体识别方法。BERT-BIGRU-CRF(BGC... 针对检验检测领域存在的实体语料匮乏、实体嵌套严重、实体类型冗杂繁多等问题,提出了一种结合双向编码器表示法(BERT)预处理语言模型、双向门控循环单元(BIGRU)双向轻编码模型和随机条件场(CRF)的命名实体识别方法。BERT-BIGRU-CRF(BGC)模型首先利用BERT预处理模型结合上下文语义训练词向量;然后经过BIGRU层双向编码;最后在CRF层计算后输出最优结果。利用含有检测组织、检测项目、检测标准和检测仪器4种命名实体的检验检测领域数据集来训练模型,结果表明BGC模型的准确率、召回率和F1值都优于不加入BERT的对比模型。同时对比BERT-BILSTM-CRF模型,BGC模型在训练时间上缩短了6%。 展开更多
关键词 命名实体识别 双向编码器表示法(bert) 检验检测领域 深度学习 双向门控循环单元(BIGRU)
在线阅读 下载PDF
融合BERT的多层次语义协同模型情感分析研究 被引量:16
9
作者 胡任远 刘建华 +2 位作者 卜冠南 张冬阳 罗逸轩 《计算机工程与应用》 CSCD 北大核心 2021年第13期176-184,共9页
由于基于变换器的双向编码器表征技术(Bidirectional Encoder Representations from Transformers,BERT)的提出,改变了传统神经网络解决句子级文本情感分析问题的方法。目前的深度学习模型BERT本身学习模式为无监督学习,其需要依赖后续... 由于基于变换器的双向编码器表征技术(Bidirectional Encoder Representations from Transformers,BERT)的提出,改变了传统神经网络解决句子级文本情感分析问题的方法。目前的深度学习模型BERT本身学习模式为无监督学习,其需要依赖后续任务补全推理和决策环节,故存在缺乏目标领域知识的问题。提出一种多层协同卷积神经网络模型(Multi-level Convolutional Neural Network,MCNN),该模型能学习到不同层次的情感特征来补充领域知识,并且使用BERT预训练模型提供词向量,通过BERT学习能力的动态调整将句子真实的情感倾向嵌入模型,最后将不同层次模型输出的特征信息同双向长短期记忆网络输出信息进行特征融合后计算出最终的文本情感性向。实验结果表明即使在不同语种的语料中,该模型对比传统神经网络和近期提出的基于BERT深度学习的模型,情感极性分类的能力有明显提升。 展开更多
关键词 深度学习 文本情感分析 基于变换器的双向编码器表征技术(bert) 卷积神经网络(CNN) 协同结构
在线阅读 下载PDF
基于BERT的灾害三元组信息抽取优化研究 被引量:9
10
作者 宋敦江 杨霖 钟少波 《中国安全科学学报》 CAS CSCD 北大核心 2022年第2期115-120,共6页
为从网络媒体文本中快速、准确提取灾害三元组信息,利用自然语言处理(NLP)技术,研究灾害三元组信息抽取应用及其算法优化。通过双向编码器表示(BERT)预训练语言模型,应用于地质灾害三元组信息提取的实例中,针对模型由于底层多头注意力(M... 为从网络媒体文本中快速、准确提取灾害三元组信息,利用自然语言处理(NLP)技术,研究灾害三元组信息抽取应用及其算法优化。通过双向编码器表示(BERT)预训练语言模型,应用于地质灾害三元组信息提取的实例中,针对模型由于底层多头注意力(MHA)机制会导致“低秩瓶颈”问题,对此,通过增大模型key-size对其进行优化。结果表明:所提方法能够显著提升从新闻报道等文本中提取地质灾害种类、发生地点、发生时间等关键信息的容错率及精准率;可得到对地质等灾害空间分布情况和趋势的分析,进而为预案编制、应急资源优化配置、区域监测预警等灾害应急管理工作提供科学分析和决策信息支持。 展开更多
关键词 然语言处理(NLP) 双向编码器表示(bert) 低秩瓶颈 多头注意力(MHA) 灾害信息
在线阅读 下载PDF
基于命名实体识别的水电工程施工安全规范实体识别模型 被引量:1
11
作者 陈述 张超 +2 位作者 陈云 张光飞 李智 《中国安全科学学报》 CAS CSCD 北大核心 2024年第9期19-26,共8页
为准确识别水电工程施工安全规范实体,通过预训练模型中双向编码器表征法(BERT)挖掘文本中丰富的语义信息,利用双向长短期记忆神经网络(BILSTM)提取规范实体语义特征,依靠条件随机场(CRF)分析实体之间的依赖关系,构建水电工程施工安全... 为准确识别水电工程施工安全规范实体,通过预训练模型中双向编码器表征法(BERT)挖掘文本中丰富的语义信息,利用双向长短期记忆神经网络(BILSTM)提取规范实体语义特征,依靠条件随机场(CRF)分析实体之间的依赖关系,构建水电工程施工安全规范的命名实体识别模型;以《水利水电工程施工安全防护技术规范》(SL714—2015)为例,计算命名实体识别模型精确率。结果表明:BERT-BILSTM-CRF模型准确率为94.35%,相比于3种传统方法,准确率显著提高。研究成果有助于水电工程施工安全规范知识智能管理,为施工安全隐患智能判别提供支撑。 展开更多
关键词 命名实体识别 水电工程施工 安全规范 双向编码器表征法(bert) 双向长短期记忆神经网络(BILSTM) 条件随机场(CRF)
在线阅读 下载PDF
基于情绪分析的生产安全事故政府责任公众感知偏差研究
12
作者 张羽 周旭 梁琦 《中国安全生产科学技术》 CAS CSCD 北大核心 2024年第8期203-209,共7页
为强化政府安全生产监督及行政问责公正机制,提升生产安全事故协同治理能力,利用文本挖掘技术从个体和场域2个层面出发,探索生产安全事故政府责任的公众感知偏差形成机理和影响因素。通过公众责任感知双向编码转换器(BERT-PPR)预测事故... 为强化政府安全生产监督及行政问责公正机制,提升生产安全事故协同治理能力,利用文本挖掘技术从个体和场域2个层面出发,探索生产安全事故政府责任的公众感知偏差形成机理和影响因素。通过公众责任感知双向编码转换器(BERT-PPR)预测事故微博评论的情绪和归责类型,对比事故调查结果得到政府责任的公众感知偏差,并基于二元逻辑回归考察事故信息和微博报道对感知偏差的影响。研究结果表明:采用政府形象框架以及调查结果公布阶段引发政府舆情危机的风险更高;责任人宣判阶段公众更易误判政府有责。行业、阶段、等级、形式、框架因素对生产安全事故政府责任公众感知偏差的影响不同,应采取对应措施,进而纠正相关偏差。研究结果可为安全生产领域内相关政策调整提供参考。 展开更多
关键词 生产安全事故 政府责任 感知偏差 舆情治理 情绪分析 双向编码转换器(bert)
在线阅读 下载PDF
云边协同联邦计算方法在铁路信号系统故障检测中的应用
13
作者 王延峰 谢泽会 《信息安全研究》 CSCD 北大核心 2024年第8期753-759,共7页
铁路信号系统是当下社会交通运力的主要承载系统,其对安全性有极高的要求.而由于铁路信号系统容易受到外界多种因素影响,易出现故障,需要设计一种针对铁路信号系统的实时故障检测方案,进而才能采取有效的维护措施.不同于传统的机器学习(... 铁路信号系统是当下社会交通运力的主要承载系统,其对安全性有极高的要求.而由于铁路信号系统容易受到外界多种因素影响,易出现故障,需要设计一种针对铁路信号系统的实时故障检测方案,进而才能采取有效的维护措施.不同于传统的机器学习(ML)故障检测方法,采用双向编码器表示转换器(BERT)深度学习(DL)模型进行实时的智能故障检测.该模型能够在处理故障检测任务时获取双向上下文的理解,从而更准确地捕捉句子中的语义关系,使得其对故障描述的理解更为精准.采用了云边协同的联邦计算方法,使得各铁路运营单位的数据可以在本地进行初步处理,然后将汇总后的梯度上传至云端进行模型训练,最终将训练得到的模型参数发送回各边缘设备,实现模型的更新,突破了模型的训练数据分散的限制,同时允许多个铁路运营单位在保持数据隐私的前提下共同训练BERT模型.研究结果表明,采用联邦边云计算方法进行BERT模型训练,在解决数据保密性问题的同时,有效提升了轨道交通故障检测的准确性与可靠性,优于目前在铁路信号系统领域已有的故障检测方案. 展开更多
关键词 铁路信号系统 故障检测 云边协同计算 联邦学习 双向编码表示转换器
在线阅读 下载PDF
基于情绪分析的事故风险感知偏差研究 被引量:6
14
作者 张羽 赵碧柳 刘红勇 《中国安全科学学报》 CAS CSCD 北大核心 2022年第8期16-22,共7页
为探索公众对安全事故的风险感知,运用文本挖掘技术获得事故微博评论数据,采用中文风险感知双向编码转换器(BERT-RPC)识别惊讶和恐惧情绪,以频率惊讶测量事故概率感知偏差,以恐惧和损失惊讶测量事故损失感知偏差,基于二元逻辑回归考察... 为探索公众对安全事故的风险感知,运用文本挖掘技术获得事故微博评论数据,采用中文风险感知双向编码转换器(BERT-RPC)识别惊讶和恐惧情绪,以频率惊讶测量事故概率感知偏差,以恐惧和损失惊讶测量事故损失感知偏差,基于二元逻辑回归考察微博形式和内容对风险感知的影响。结果表明:低估安全事故风险的现象普遍存在,且对事故损失的低估更为突出;基于BERT-RPC模型的“抓取-分析”技术能够高效、低延迟地实现全网公众的风险感知偏差监测;交通行业的事故概率、损失被严重低估;一般事故的概率和特大事故的损失被严重低估;事故图片和视频有助于纠正事故损失的感知偏差,但对概率感知偏差作用有限;事故爆发初期报道对公众风险感知纠正效果最佳,调查结果公布和责任人宣判阶段次之。 展开更多
关键词 情绪分析 事故风险 感知偏差 双向编码转换器(bert) 中文风险感知(RPC)
在线阅读 下载PDF
基于融合评价指标BERT-RGCN的油田评价区块调整措施推荐方法
15
作者 王梅 朱晓丽 +2 位作者 孙洪国 王海艳 濮御 《东北石油大学学报》 2025年第5期110-120,I0008,共12页
为解决油田领域区块调整措施推荐过程中存在的样本数据稀疏和语义特征复杂等问题,提出基于融合评价指标(EI)的变换器双向编码(BERT)与关系图卷积神经网络(RGCN)的油田评价区块调整措施推荐方法(EI-BERT-RGCN方法)。根据评价指标、评价... 为解决油田领域区块调整措施推荐过程中存在的样本数据稀疏和语义特征复杂等问题,提出基于融合评价指标(EI)的变换器双向编码(BERT)与关系图卷积神经网络(RGCN)的油田评价区块调整措施推荐方法(EI-BERT-RGCN方法)。根据评价指标、评价区块及措施之间的交互信息构建异构图,利用BERT模型生成评价指标、评价区块及措施术语词向量,共同作为输入词向量,将融合评价指标信息的异构图和输入词向量放入RGCN模型训练,学习评价区块的有效表征;在某油田评价区块提供的数据集上进行实验对比。结果表明:EI-BERT-RGCN方法能够捕捉文本中隐含的复杂语义并缓解数据稀疏问题,能更好理解未观察到的评价指标与调整措施之间的潜在关系,提升节点的表示质量。EI-BERT-RGCN模型在精确率、召回率、F_(1)分数及ROC曲线下面积等评价指标上优于其他基准模型,在保持较高精确率的同时,展现更好的泛化能力和鲁棒性。该结果为油田评价区块调整措施推荐提供参考。 展开更多
关键词 异构图 变换器双向编码(bert) 预训练模型 关系图卷积神经网络(RGCN) 推荐算法 措施推荐 油田评价区块
在线阅读 下载PDF
需求驱动的云平台产品关键设计特征识别方法 被引量:5
16
作者 苏兆婧 余隋怀 +3 位作者 初建杰 于明玖 宫静 黄悦欣 《计算机集成制造系统》 EI CSCD 北大核心 2021年第12期3604-3613,共10页
为完善云服务平台产品设计知识发现系统,同时进一步提升需求与服务的匹配效率,提出一种基于转换器的双向编码表征(BERT)和随机Lasso的产品关键设计特征识别方法。首先,实验采用真实产品用户反馈数据集并对其进行人工标注,以BERT预训练... 为完善云服务平台产品设计知识发现系统,同时进一步提升需求与服务的匹配效率,提出一种基于转换器的双向编码表征(BERT)和随机Lasso的产品关键设计特征识别方法。首先,实验采用真实产品用户反馈数据集并对其进行人工标注,以BERT预训练语言模型为基础,建立输出层以训练设计领域命名实体识别模型,实现对显性设计特征的自动识别。实验表明,所提方法可以实现较好的性能,精确率、召回率、F1分数分别为90.55%、97.16%和93.68%。同时,提出一种知识迁移思想,在当前大数据环境下,利用随机Lasso算法挖掘其中蕴含的关键设计特征并加以重用,实现了对隐性设计特征的精确定位。 展开更多
关键词 工业设计 用户需求 基于转换器双向编码表征 命名实体识别 随机Lasso 产品设计
在线阅读 下载PDF
基于对抗迁移的复合材料检测领域命名实体识别 被引量:4
17
作者 李洋 蔡红珍 +1 位作者 邢林林 苏展鹏 《科学技术与工程》 北大核心 2022年第30期13370-13377,共8页
命名实体识别(named entity recognition,NER)可整合复合材料检测领域相关数据精准提取关键实体信息,促进产业信息化,为行业发展提供技术支撑。针对复合材料检测领域专业名词过多及边界混淆等问题,提出了一种基于对抗训练(adversarial t... 命名实体识别(named entity recognition,NER)可整合复合材料检测领域相关数据精准提取关键实体信息,促进产业信息化,为行业发展提供技术支撑。针对复合材料检测领域专业名词过多及边界混淆等问题,提出了一种基于对抗训练(adversarial training)和BERT(bidirectional encoder representations from transformers)嵌入相结合的领域命名实体识别模型(BERT-AdBC)。首先,复合材料检测领域数据规模较小,BERT嵌入增强了领域迁移能力,通过融合字向量获取充分的语义表示;其次,领域语句繁杂冗长,引入自注意力机制结合双向长短期记忆网络(Bi-LSTM)模型增强了上下文之间语义关系的获取;最后,对抗训练利用分词任务与实体识别任务的共享信息解决了边界混淆问题。实验结果表明,本文所提出的BERT-AdBC模型对复合材料检测领域实体识别的效果要优于传统模型,综合评价指标F最高提升6.48%。 展开更多
关键词 复合材料 深度学习 基于转换器双向编码特征 对抗训练 命名实体识别
在线阅读 下载PDF
融合多种类型语法信息的属性级情感分析模型 被引量:3
18
作者 肖泽管 陈清亮 《计算机科学与探索》 CSCD 北大核心 2022年第2期395-402,共8页
属性级情感分析(ABSA)的目标是识别出句子中属性的情感倾向。现有的方法大多使用注意力机制隐性地建模属性与上下文中情感表达的关系,而忽略了使用语法信息。一方面,属性的情感倾向与句子中的情感表达有紧密的联系,利用句子的句法结构... 属性级情感分析(ABSA)的目标是识别出句子中属性的情感倾向。现有的方法大多使用注意力机制隐性地建模属性与上下文中情感表达的关系,而忽略了使用语法信息。一方面,属性的情感倾向与句子中的情感表达有紧密的联系,利用句子的句法结构可以更直接地对两者建模;另一方面,由于现有的基准数据集较小,模型无法充分学习通用语法知识,这使得它们难以处理复杂的句型和情感表达。针对以上问题,提出一种利用多种类型语法信息的神经网络模型。该模型采用基于依存句法树的图卷积神经网络(GCN),并利用句法结构信息直接匹配属性与其对应情感表达,缓解冗余信息对分类的干扰。同时,使用预训练模型BERT具有多种类型的语法信息的中间层表示作为指导信息,给予模型更多的语法知识。每一层GCN的输入结合上一层GCN的输出和BERT中间层指导信息。最后将属性在最后一层GCN的表示作为特征进行情感倾向分类。通过在SemEval 2014 Task4 Restaurant、Laptop和Twitter数据集上的实验结果表明,提出模型的分类效果超越了很多基准模型。 展开更多
关键词 属性级 情感分析 基于变换器的双向编码器表示技术(bert) 依存句法树 图卷积神经网络(GCN)
在线阅读 下载PDF
基于transformer的工单智能判责方法研究
19
作者 汪加婧 范维 《高技术通讯》 CAS 2021年第6期660-665,共6页
在图像、文本、视频、语音以及社交类网络数据爆炸增长的时代,企业如何从海量非结构化数据中提取出有效信息并将之转化为生产效率的提升和流程自动化的实现,是目前迫切需要关注和解决的问题。本文以运营商集团电子工单自动判责场景为切... 在图像、文本、视频、语音以及社交类网络数据爆炸增长的时代,企业如何从海量非结构化数据中提取出有效信息并将之转化为生产效率的提升和流程自动化的实现,是目前迫切需要关注和解决的问题。本文以运营商集团电子工单自动判责场景为切入点,提出使用基于transformer架构的双向编码器表示(BERT)作为文本分类模型,自动收集各省份的反馈信息并进行各省份的工单责任智能判定。通过将BERT模型与LightGBM和Bi-LSTM-Attention模型进行实验对比,结果表明BERT模型对各类别工单的预测准确率均达到了96%以上,具有较好的实际应用效果。 展开更多
关键词 工单智能判责 文本分类 TRANSFORMER 双向编码器表示(bert)
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部