针对传统方法在石油钻井领域由于检索词不标准、语义模糊导致检索结果偏差较大的问题,提出一种基于BERT(Bidirectional Encoder Representation from Transformers)孪生网络模型的注意力池化方法以提高文献相似度评估的准确率。首先使...针对传统方法在石油钻井领域由于检索词不标准、语义模糊导致检索结果偏差较大的问题,提出一种基于BERT(Bidirectional Encoder Representation from Transformers)孪生网络模型的注意力池化方法以提高文献相似度评估的准确率。首先使用爬虫技术采集石油钻井文献并清洗整理,然后利用5类石油钻井文献数据集评估指标对样本进行打分标注,最后结合钻井文献数据集特征,提出基于孪生BERT网络的注意力池化方法,对多特征样本进行整体语义表达。实验结果表明,相较于常规的池化方法,该模型能提升石油钻井文献相似度度量的效果,并具有一定的泛化性能。展开更多
针对传统的命名实体识别方法无法充分学习古汉语复杂的句子结构信息以及在长序列特征提取过程中容易带来信息损失的问题,提出一种融合SikuBERT(Siku Bidirectional Encoder Representation from Transformers)模型与MHA(Multi-Head Atte...针对传统的命名实体识别方法无法充分学习古汉语复杂的句子结构信息以及在长序列特征提取过程中容易带来信息损失的问题,提出一种融合SikuBERT(Siku Bidirectional Encoder Representation from Transformers)模型与MHA(Multi-Head Attention)的古汉语命名实体识别方法。首先,利用SikuBERT模型对古汉语语料进行预训练,将训练得到的信息向量输入BiLSTM(Bidirectional Long Short-Term Memory)网络中提取特征,再将BiLSTM层的输出特征通过MHA分配不同的权重减少长序列的信息损失,最后通过CRF(Conditional Random Field)解码得到预测的序列标签。实验表明,与常用的BiLSTM-CRF、 BERT-BiLSTM-CRF等模型相比,该方法的F_(1)值有显著提升,证明了该方法能有效提升古汉语命名实体识别的效果。展开更多
为解决传统施工安全管理中对事故报告信息分析效率低的问题,利用自然语言处理(Natural Language Processing,NLP)技术,提出基于双向编码器表示(Bidirectional Encoder Representations from Transformers,BERT)的施工安全事故文本命名...为解决传统施工安全管理中对事故报告信息分析效率低的问题,利用自然语言处理(Natural Language Processing,NLP)技术,提出基于双向编码器表示(Bidirectional Encoder Representations from Transformers,BERT)的施工安全事故文本命名实体识别方法。以自建的施工安全事故领域实体标注语料数据集为研究对象,首先利用BERT预训练模型获取动态字向量,然后采用双向长短时记忆网络-注意力机制-条件随机场(BiLSTM-Attention-CRF)对前一层输出的语义编码进行序列标注和解码以获取最优文本标签序列。实验结果表明,该模型在自建数据集上的F1值分数为92.58%,较基准模型BiLSTM-CRF提升了4.19%;该方法对事故时间等5类实体识别F1值均可达到91%以上,验证了该方法对施工安全事故实体识别的有效性,说明模型可用于实际施工知识管理中并指导建筑安全管理的安全培训。展开更多
现有的医学健康问句数据大多数都是短文本,但短文本存在特征稀疏的局限性。对此,提出一种融合特征的方法,首先通过基于变换器的双向编码器表征技术(Bidirectional Encoder Representations from Transformers,BERT)字符级特征的输出取...现有的医学健康问句数据大多数都是短文本,但短文本存在特征稀疏的局限性。对此,提出一种融合特征的方法,首先通过基于变换器的双向编码器表征技术(Bidirectional Encoder Representations from Transformers,BERT)字符级特征的输出取平均并与BERT句子级特征的输出进行拼接,然后使用分类器进行分类。实验结果表明,本模型可以有效地提高模型提取特征的能力,在处理Kesci公众健康问句分类数据集上F1值达到83.92%,在处理中文健康公众问句数据集时F1值达到87%。展开更多
为了提高电力集控系统安全隐患数据处理的效果,提出一种基于来自变换器的双向编码器表示-双向长短期记忆网络-条件随机场(Bidirectional Encoder Representations from Transformers-Bidirectional Long Short Term Memory-Conditional ...为了提高电力集控系统安全隐患数据处理的效果,提出一种基于来自变换器的双向编码器表示-双向长短期记忆网络-条件随机场(Bidirectional Encoder Representations from Transformers-Bidirectional Long Short Term Memory-Conditional Random Fields,BERT-BiLSTM-CRF)的电力集控安全隐患数据处理方法。构建电力集控隐患数据检测模型,应用改进长短时记忆网络(Long Short Term Memory,LSTM)来构建电力集控安全隐患数据修复网络,实现电力集控安全隐患数据处理。实验结果表明,采用所提方法能够更好地完成电力集控安全隐患数据检测与修复,应用效果较好。展开更多
科技文献检索时以专业角度给出合理的相关度排序是一项非常重要工作,传统PageRank算法采用了平均分配相似性权重的方式,但其会产生文献排序结果不合理的问题。为此,提出一种将深度学习方法与PageRank相结合的算法,提高文献相关度排序的...科技文献检索时以专业角度给出合理的相关度排序是一项非常重要工作,传统PageRank算法采用了平均分配相似性权重的方式,但其会产生文献排序结果不合理的问题。为此,提出一种将深度学习方法与PageRank相结合的算法,提高文献相关度排序的可靠性。首先,使用具有注意力池化的孪生BERT(Bidirectional Encoder Representation from Transformers)深度学习网络计算文献与引文的相似度;然后,对文献与其所包含引文间的相似度进行规范化处理;最后,将标准化后的相似度作为分配权重对引文网络计算排序。实验结果表明,相较于传统的PageRank算法,该方法检索结果的相关度提升6%以上,因此更适合应用于科技文献的引文网络分析。展开更多
文摘针对传统方法在石油钻井领域由于检索词不标准、语义模糊导致检索结果偏差较大的问题,提出一种基于BERT(Bidirectional Encoder Representation from Transformers)孪生网络模型的注意力池化方法以提高文献相似度评估的准确率。首先使用爬虫技术采集石油钻井文献并清洗整理,然后利用5类石油钻井文献数据集评估指标对样本进行打分标注,最后结合钻井文献数据集特征,提出基于孪生BERT网络的注意力池化方法,对多特征样本进行整体语义表达。实验结果表明,相较于常规的池化方法,该模型能提升石油钻井文献相似度度量的效果,并具有一定的泛化性能。
文摘针对传统的命名实体识别方法无法充分学习古汉语复杂的句子结构信息以及在长序列特征提取过程中容易带来信息损失的问题,提出一种融合SikuBERT(Siku Bidirectional Encoder Representation from Transformers)模型与MHA(Multi-Head Attention)的古汉语命名实体识别方法。首先,利用SikuBERT模型对古汉语语料进行预训练,将训练得到的信息向量输入BiLSTM(Bidirectional Long Short-Term Memory)网络中提取特征,再将BiLSTM层的输出特征通过MHA分配不同的权重减少长序列的信息损失,最后通过CRF(Conditional Random Field)解码得到预测的序列标签。实验表明,与常用的BiLSTM-CRF、 BERT-BiLSTM-CRF等模型相比,该方法的F_(1)值有显著提升,证明了该方法能有效提升古汉语命名实体识别的效果。
文摘为解决传统施工安全管理中对事故报告信息分析效率低的问题,利用自然语言处理(Natural Language Processing,NLP)技术,提出基于双向编码器表示(Bidirectional Encoder Representations from Transformers,BERT)的施工安全事故文本命名实体识别方法。以自建的施工安全事故领域实体标注语料数据集为研究对象,首先利用BERT预训练模型获取动态字向量,然后采用双向长短时记忆网络-注意力机制-条件随机场(BiLSTM-Attention-CRF)对前一层输出的语义编码进行序列标注和解码以获取最优文本标签序列。实验结果表明,该模型在自建数据集上的F1值分数为92.58%,较基准模型BiLSTM-CRF提升了4.19%;该方法对事故时间等5类实体识别F1值均可达到91%以上,验证了该方法对施工安全事故实体识别的有效性,说明模型可用于实际施工知识管理中并指导建筑安全管理的安全培训。
文摘现有的医学健康问句数据大多数都是短文本,但短文本存在特征稀疏的局限性。对此,提出一种融合特征的方法,首先通过基于变换器的双向编码器表征技术(Bidirectional Encoder Representations from Transformers,BERT)字符级特征的输出取平均并与BERT句子级特征的输出进行拼接,然后使用分类器进行分类。实验结果表明,本模型可以有效地提高模型提取特征的能力,在处理Kesci公众健康问句分类数据集上F1值达到83.92%,在处理中文健康公众问句数据集时F1值达到87%。
文摘为了提高电力集控系统安全隐患数据处理的效果,提出一种基于来自变换器的双向编码器表示-双向长短期记忆网络-条件随机场(Bidirectional Encoder Representations from Transformers-Bidirectional Long Short Term Memory-Conditional Random Fields,BERT-BiLSTM-CRF)的电力集控安全隐患数据处理方法。构建电力集控隐患数据检测模型,应用改进长短时记忆网络(Long Short Term Memory,LSTM)来构建电力集控安全隐患数据修复网络,实现电力集控安全隐患数据处理。实验结果表明,采用所提方法能够更好地完成电力集控安全隐患数据检测与修复,应用效果较好。
文摘科技文献检索时以专业角度给出合理的相关度排序是一项非常重要工作,传统PageRank算法采用了平均分配相似性权重的方式,但其会产生文献排序结果不合理的问题。为此,提出一种将深度学习方法与PageRank相结合的算法,提高文献相关度排序的可靠性。首先,使用具有注意力池化的孪生BERT(Bidirectional Encoder Representation from Transformers)深度学习网络计算文献与引文的相似度;然后,对文献与其所包含引文间的相似度进行规范化处理;最后,将标准化后的相似度作为分配权重对引文网络计算排序。实验结果表明,相较于传统的PageRank算法,该方法检索结果的相关度提升6%以上,因此更适合应用于科技文献的引文网络分析。
