摘要
针对军事领域标注文本不足的问题,结合实体识别技术,提出了基于自注意力(Transformer)双向语义表征模型(BERT)、双向长短时记忆网络(Bi‑LSTM)和条件随机场(CRF)的军事命名实体识别框架(BERT‑Bi‑LSTM‑CRF)。该框架以字、字位置、语义块及词性作为模型输入特征,通过BERT网络迁移学习,获得通用领域语义编码特征,再利用Bi‑LSTM解码军事语义特征,最后通过CRF实现序列预测。试验结果表明,该框架相对于现有基准方法在准确率、召回率和F1值上表现良好。
In order to solve the shortage of annotated text in military field,a military named entity recognition framework bi-directional encoder representations from transformers(BERT)bi-directional long short-term memory-conditional random field(Bi-LSTM-CRF)based on BERT,Bi-LSTM and CRF is proposed in combination with entity recognition technology.This framework takes the position,semantics block and part of speech as input features of the model.Though Transfer learning by BERT network,it grabs the general domain semantics coding features.Then,it decodes the military semantics features by Bi-LSTM.Finally,it realizes sequence prediction by CRF.The experimental results show that the named entity recognition framework performs better in accuracy,recall rate and F1 value than the current benchmark methods.
作者
刘卫平
张豹
陈伟荣
张诚
陈渊
潘仁前
LIU Weiping;ZHANG Bao;CHEN Weirong;ZHANG Cheng;CHEN Yuan;PAN Renqian(The 28th Research Institute of China Electronics Technology Group Corporation,Nanjing 210007,China)
出处
《指挥信息系统与技术》
2020年第2期64-69,共6页
Command Information System and Technology
基金
装备发展部“十三五”预研课题(E336172068)资助项目。
关键词
军事命名实体识别
迁移学习
双向长短时记忆网络
条件随机场
military named entity recognition
transfer learning
bi-directional long short-term memory
conditional random field
作者简介
刘卫平,男(1985—),工程师,研究方向为自然语言和人工智能;张豹,男(1984—),工程师,研究方向为大数据和人工智能;陈伟荣,男(1987—),工程师,研究方向为大数据和人工智能;张诚,男(1991—),工程师,研究方向为人工智能与自然语言;陈渊,男(1989—),工程师,研究方向为知识图谱;潘仁前,男(1986—),工程师,研究方向为分布式服务。
