航行通告是民用航空情报领域的重要情报资料,针对中文航行通告专业名词较多、格式不统一及语义复杂等问题,提出了一种基于BERT-Bi-LSTM-CRF的实体识别模型,对航行通告E项内容中事件要素实体进行抽取。首先通过BERT(bidirectional encode...航行通告是民用航空情报领域的重要情报资料,针对中文航行通告专业名词较多、格式不统一及语义复杂等问题,提出了一种基于BERT-Bi-LSTM-CRF的实体识别模型,对航行通告E项内容中事件要素实体进行抽取。首先通过BERT(bidirectional encoder representations from transforms)模型对处理后的向量进行预训练,捕捉丰富的语义特征,然后传送至双向长短期记忆网络(bidirectional long short-term memory,Bi-LSTM)模型对上下文特征进行提取,最后利用条件随机场(conditional random field,CRF)模型对最佳实体标签预测并输出。收集并整理机场类航行通告相关的原始语料,经过文本标注与数据预处理,形成了可用于实体识别实验的训练集、验证集和评价集数据。基于此数据与不同的实体识别模型进行对比实验,BERT-Bi-LSTM-CRF模型的准确率为89.68%、召回率为81.77%、F_(1)为85.54%,其中F 1相比现有模型得到有效提升,结果验证了该模型在机场类航行通告中要素实体识别的有效性。展开更多
目前,空管各类安全管理信息化平台积累了大量非结构化文本数据,但未得到充分利用,为了挖掘空管不正常事件中潜藏的风险,研究利用收集的四千余条空管站不正常事件数据和自构建的4836个空管领域专业术语词,提出了一个基于空管专业信息词...目前,空管各类安全管理信息化平台积累了大量非结构化文本数据,但未得到充分利用,为了挖掘空管不正常事件中潜藏的风险,研究利用收集的四千余条空管站不正常事件数据和自构建的4836个空管领域专业术语词,提出了一个基于空管专业信息词抽取的双向编码器表征法和双向长短时记忆网络的深度学习模型(Bidirectional Encoder Representations from Transformers-Bidirectional Long Short-Term Memory,BERT-BiLSTM)。该模型通过对不正常事件文本进行信息抽取,过滤其中无用信息,并将双向编码器表征法(Bidirectional Encoder Representations from Transformers,BERT)模型输出的特征向量序列作为双向长短时记忆网络(Bidirectional Long Short-Term Memory,BiLSTM)的输入序列,以对空管不正常事件文本风险识别任务进行对比试验。试验结果显示,在风险识别试验中,基于空管专业信息词抽取的BERT-BiLSTM模型相比于通用领域的BERT模型,风险识别准确率提升了3百分点。可以看出该模型有效提升了空管安全信息处理能力,能够有效识别空管部门日常运行中出现的不正常事件所带来的风险,同时可以为空管安全领域信息挖掘相关任务提供基础参考。展开更多
在结构健康监测系统中重构缺失响应数据对于准确评估结构工作状况至关重要。提出了一种基于双向长短期记忆网络和注意力机制的缺失振动响应重构网络——序列到序列-双向长短时记忆网络-注意力模型。该网络在序列到序列(sequence to sequ...在结构健康监测系统中重构缺失响应数据对于准确评估结构工作状况至关重要。提出了一种基于双向长短期记忆网络和注意力机制的缺失振动响应重构网络——序列到序列-双向长短时记忆网络-注意力模型。该网络在序列到序列(sequence to sequence,Seq2Seq)架构的基础上,将响应重构问题建模为序列生成问题,利用数据间潜在的时空关系显著提高模型的重构性能。此外,提出了一种基于均值平滑的损失计算方法评估模型的整体性能。通过对八自由度振动系统数值算例以及道林厅人行桥实际监测数据的研究,验证了所提出模型的鲁棒性与准确性。试验结果表明,该模型在不同噪声环境下均能胜任响应重构任务,在低信噪比的情况下仍表现出优异的重构性能。展开更多
文摘航行通告是民用航空情报领域的重要情报资料,针对中文航行通告专业名词较多、格式不统一及语义复杂等问题,提出了一种基于BERT-Bi-LSTM-CRF的实体识别模型,对航行通告E项内容中事件要素实体进行抽取。首先通过BERT(bidirectional encoder representations from transforms)模型对处理后的向量进行预训练,捕捉丰富的语义特征,然后传送至双向长短期记忆网络(bidirectional long short-term memory,Bi-LSTM)模型对上下文特征进行提取,最后利用条件随机场(conditional random field,CRF)模型对最佳实体标签预测并输出。收集并整理机场类航行通告相关的原始语料,经过文本标注与数据预处理,形成了可用于实体识别实验的训练集、验证集和评价集数据。基于此数据与不同的实体识别模型进行对比实验,BERT-Bi-LSTM-CRF模型的准确率为89.68%、召回率为81.77%、F_(1)为85.54%,其中F 1相比现有模型得到有效提升,结果验证了该模型在机场类航行通告中要素实体识别的有效性。
文摘目前,空管各类安全管理信息化平台积累了大量非结构化文本数据,但未得到充分利用,为了挖掘空管不正常事件中潜藏的风险,研究利用收集的四千余条空管站不正常事件数据和自构建的4836个空管领域专业术语词,提出了一个基于空管专业信息词抽取的双向编码器表征法和双向长短时记忆网络的深度学习模型(Bidirectional Encoder Representations from Transformers-Bidirectional Long Short-Term Memory,BERT-BiLSTM)。该模型通过对不正常事件文本进行信息抽取,过滤其中无用信息,并将双向编码器表征法(Bidirectional Encoder Representations from Transformers,BERT)模型输出的特征向量序列作为双向长短时记忆网络(Bidirectional Long Short-Term Memory,BiLSTM)的输入序列,以对空管不正常事件文本风险识别任务进行对比试验。试验结果显示,在风险识别试验中,基于空管专业信息词抽取的BERT-BiLSTM模型相比于通用领域的BERT模型,风险识别准确率提升了3百分点。可以看出该模型有效提升了空管安全信息处理能力,能够有效识别空管部门日常运行中出现的不正常事件所带来的风险,同时可以为空管安全领域信息挖掘相关任务提供基础参考。
文摘在结构健康监测系统中重构缺失响应数据对于准确评估结构工作状况至关重要。提出了一种基于双向长短期记忆网络和注意力机制的缺失振动响应重构网络——序列到序列-双向长短时记忆网络-注意力模型。该网络在序列到序列(sequence to sequence,Seq2Seq)架构的基础上,将响应重构问题建模为序列生成问题,利用数据间潜在的时空关系显著提高模型的重构性能。此外,提出了一种基于均值平滑的损失计算方法评估模型的整体性能。通过对八自由度振动系统数值算例以及道林厅人行桥实际监测数据的研究,验证了所提出模型的鲁棒性与准确性。试验结果表明,该模型在不同噪声环境下均能胜任响应重构任务,在低信噪比的情况下仍表现出优异的重构性能。
文摘该研究致力于构建一个高质量的数据集,用于南美白对虾养殖领域的命名实体识别(named entity recognition,NER)任务,命名为VamNER。为确保数据集的多样性,从CNKI数据库中收集了近10年的高质量论文,并结合权威书籍进行语料构建。邀请专家讨论实体类型,并经过专业培训的标注人员使用IOB2标注格式进行标注,标注过程分为预标注和正式标注两个阶段以提高效率。在预标注阶段,标注者间一致性(inter-annotation agreement,IAA)达到0.87,表明标注人员的一致性较高。最终,VamNER包含6115个句子,总字符数达384602,涵盖10个实体类型,共有12814个实体。研究通过与多个通用领域数据集和一个特定领域数据集进行比较,揭示了VamNER的独特特性。在实验中使用了预训练的基于变换器的双向编码器表示(bidirectional encoder representations from Transformers,BERT)模型、双向长短期记忆神经网络(bidirectional long short-term memory network,BiLSTM)和条件随机场模型(conditional random fields,CRF),最优模型在测试集上的F1值达到82.8%。VamNER成为首个专注于南美白对虾养殖领域的NER数据集,为中文特定领域NER研究提供了丰富资源,有望推动水产养殖领域NER研究的发展。
