-
题名基于知识注入的燃气知识双向变换器模型
- 1
-
-
作者
柳晓昱
庄育锋
赵兴昊
王珂璠
张国开
-
机构
北京邮电大学智能工程与自动化学院
-
出处
《中国安全科学学报》
北大核心
2025年第3期204-211,共8页
-
基金
国家自然科学基金资助(52478123)。
-
文摘
为提高燃气管网领域的应急管理水平,提出燃气知识双向变换器(Gas-kBERT)模型。该模型结合聊天生成预训练转换器(ChatGPT)扩充的燃气管网领域数据,以及构建的中文燃气语言理解-三元组(CGLU-Spo)和相关语料库,通过改变模型的掩码(MASK)机制,成功将领域知识注入模型中。考虑到燃气管网领域的专业性和特殊性,Gas-kBERT在不同规模和内容的语料库上进行预训练,并在燃气管网领域的命名实体识别和分类任务上进行微调。结果表明:与通用的双向变换器(BERT)模型相比,Gas-kBERT在燃气管网领域的文本挖掘任务中F 1值表现出显著的提升。在命名实体识别任务中,F 1值提高29.55%;在文本分类任务中,F 1值提升高达83.33%。由此证明Gas-kBERT模型在燃气管网领域的文本挖掘任务中具有出色的表现。
-
关键词
燃气管网
燃气知识双向变换器(gas-kbert)模型
自然语言处理(NLP)
知识注入
双向变换器(BERT)模型
-
Keywords
gas pipeline networks
gas knowledge bidirectional encoder representations from transformers(gas-kbert)model
natural language processing(NLP)
knowledge injection
bidirectional encoder representations from transformers(BERT)
-
分类号
X913.4
[环境科学与工程—安全科学]
-
