为了提升民航安全信息实体的识别准确度和效率,提出一种BERT-BILSTM-LSTM实体关系联合提取模型。利用BERT预训练模型将文本数据转换成词向量;通过BiLSTM(bidirectional long short-term memory),结合上下文语境信息学习词向量之间的关系...为了提升民航安全信息实体的识别准确度和效率,提出一种BERT-BILSTM-LSTM实体关系联合提取模型。利用BERT预训练模型将文本数据转换成词向量;通过BiLSTM(bidirectional long short-term memory),结合上下文语境信息学习词向量之间的关系,使用LSTM(Long short-term memory)网络训练不同词向量的关系得到实体概率;实现对民航文本信息实体的关系提取。实验结果表明,此模型在小规模数据上相较于现存主流算法BERT-BILSTM-CRF在准确率和召回率上都有较大的性能提升。展开更多
针对“卡脖子”技术研究存在替代技术识别机制缺失与技术要素解析精度不足等局限,文章提出融合提示工程与BERT-LSTM模型的“卡脖子”替代技术识别方法。首先,基于商业管制清单(Commercial Control List,CCL)对ECCN物项进行解析,并开展...针对“卡脖子”技术研究存在替代技术识别机制缺失与技术要素解析精度不足等局限,文章提出融合提示工程与BERT-LSTM模型的“卡脖子”替代技术识别方法。首先,基于商业管制清单(Commercial Control List,CCL)对ECCN物项进行解析,并开展专利检索工作,通过SPC算法提取技术主路径的关键核心专利;其次,运用大语言模型提示工程抽取“问题-方案对”,借此解析技术功效,并结合功能导向搜索(Function-Oriented Search,FOS)初步查找可能具备技术替代功效的相关专利;再次,采用BERT-LSTM模型对专利文本实施二元分类,精准识别出具备技术替代功效的专利样本;通过提示工程抽取“方案-类别对”,系统识别替代技术方案;最后,建立科学-产业双维度评估体系完成替代技术潜力分级。文章以光刻技术为例,阐述该识别方法的应用流程,系统识别出极紫外(Extreme Ultra-violet,EUV)光刻技术的五种替代技术及其替代潜力。展开更多
方面级情感分析旨在识别文本中针对特定方面的情感倾向,然而现有研究仍面临多重挑战:基于BERT的方面级情感分析研究存在语义过拟合、低层级语义利用不足的问题;自注意力机制存在局部信息丢失的问题;多编码层和多粒度语义的结构存在信息...方面级情感分析旨在识别文本中针对特定方面的情感倾向,然而现有研究仍面临多重挑战:基于BERT的方面级情感分析研究存在语义过拟合、低层级语义利用不足的问题;自注意力机制存在局部信息丢失的问题;多编码层和多粒度语义的结构存在信息冗余问题。为此,提出一种融合BERT编码层的多粒度语义方面级情感分析模型(multi-granular semantic aspect-based sentiment analysis model with fusion of BERT encoding layers,MSBEL)。具体地,引入金字塔注意力机制,利用各个编码层的语义特征,并结合低层编码器以降低过拟合;通过多尺度门控卷积增强模型处理局部信息丢失的能力;使用余弦注意力突出与方面词相关的情感特征,从而减少信息冗余。t-SNE的可视化分析表明,MSBEL的情感表示聚类效果优于BERT。此外,在多个基准数据集上将本文模型与主流模型的性能进行了对比,结果显示:与LCF-BERT相比,本文模型在5个数据集上的F1分别提升了1.53%、3.94%、1.39%、6.68%、5.97%;与SenticGCN相比,本文模型的F1平均提升0.94%,最大提升2.12%;与ABSA-DeBERTa相比,本文模型的F1平均提升1.16%,最大提升4.20%,验证了本文模型在方面级情感分析任务上的有效性和优越性。展开更多
针对现有的专家推荐算法忽略了用户评论中蕴含的情感表达对专家专长表征的影响,从而导致推荐准确度不高的问题,提出基于双向编码器表示-多头注意力机制(bidirectional encoder representations from transformers-multi-head attention,...针对现有的专家推荐算法忽略了用户评论中蕴含的情感表达对专家专长表征的影响,从而导致推荐准确度不高的问题,提出基于双向编码器表示-多头注意力机制(bidirectional encoder representations from transformers-multi-head attention,BERT-MHA)的深度语义增强专家推荐算法。该算法基于预训练BERT模型,融合MHA机制,自动调整用户评论对专家历史回答问题的情感注意力权重,获取专家动态专长表征,并与静态专长联合以实现专家特征文本的语义增强,表征专家综合专长;通过注意力机制识别用户问题特征;采用多层感知机建模专家综合专长与用户问题间的非线性交互,预测推荐专家的匹配度。利用好大夫网站(haodf.com)的数据进行了不同参数配置及不同算法的对比实验,实验结果表明该算法在准确率(accuracy,ACC)和曲线下的面积(area under curve,AUC)指标下明显优于其他算法,能有效提高在线问答社区的专家推荐准确度。展开更多
文摘针对“卡脖子”技术研究存在替代技术识别机制缺失与技术要素解析精度不足等局限,文章提出融合提示工程与BERT-LSTM模型的“卡脖子”替代技术识别方法。首先,基于商业管制清单(Commercial Control List,CCL)对ECCN物项进行解析,并开展专利检索工作,通过SPC算法提取技术主路径的关键核心专利;其次,运用大语言模型提示工程抽取“问题-方案对”,借此解析技术功效,并结合功能导向搜索(Function-Oriented Search,FOS)初步查找可能具备技术替代功效的相关专利;再次,采用BERT-LSTM模型对专利文本实施二元分类,精准识别出具备技术替代功效的专利样本;通过提示工程抽取“方案-类别对”,系统识别替代技术方案;最后,建立科学-产业双维度评估体系完成替代技术潜力分级。文章以光刻技术为例,阐述该识别方法的应用流程,系统识别出极紫外(Extreme Ultra-violet,EUV)光刻技术的五种替代技术及其替代潜力。
文摘方面级情感分析旨在识别文本中针对特定方面的情感倾向,然而现有研究仍面临多重挑战:基于BERT的方面级情感分析研究存在语义过拟合、低层级语义利用不足的问题;自注意力机制存在局部信息丢失的问题;多编码层和多粒度语义的结构存在信息冗余问题。为此,提出一种融合BERT编码层的多粒度语义方面级情感分析模型(multi-granular semantic aspect-based sentiment analysis model with fusion of BERT encoding layers,MSBEL)。具体地,引入金字塔注意力机制,利用各个编码层的语义特征,并结合低层编码器以降低过拟合;通过多尺度门控卷积增强模型处理局部信息丢失的能力;使用余弦注意力突出与方面词相关的情感特征,从而减少信息冗余。t-SNE的可视化分析表明,MSBEL的情感表示聚类效果优于BERT。此外,在多个基准数据集上将本文模型与主流模型的性能进行了对比,结果显示:与LCF-BERT相比,本文模型在5个数据集上的F1分别提升了1.53%、3.94%、1.39%、6.68%、5.97%;与SenticGCN相比,本文模型的F1平均提升0.94%,最大提升2.12%;与ABSA-DeBERTa相比,本文模型的F1平均提升1.16%,最大提升4.20%,验证了本文模型在方面级情感分析任务上的有效性和优越性。
文摘针对现有的专家推荐算法忽略了用户评论中蕴含的情感表达对专家专长表征的影响,从而导致推荐准确度不高的问题,提出基于双向编码器表示-多头注意力机制(bidirectional encoder representations from transformers-multi-head attention,BERT-MHA)的深度语义增强专家推荐算法。该算法基于预训练BERT模型,融合MHA机制,自动调整用户评论对专家历史回答问题的情感注意力权重,获取专家动态专长表征,并与静态专长联合以实现专家特征文本的语义增强,表征专家综合专长;通过注意力机制识别用户问题特征;采用多层感知机建模专家综合专长与用户问题间的非线性交互,预测推荐专家的匹配度。利用好大夫网站(haodf.com)的数据进行了不同参数配置及不同算法的对比实验,实验结果表明该算法在准确率(accuracy,ACC)和曲线下的面积(area under curve,AUC)指标下明显优于其他算法,能有效提高在线问答社区的专家推荐准确度。
