-
题名基于回指与逻辑推理的文档级关系抽取模型
- 1
-
-
作者
胡婕
吴翠
孙军
张龑
-
机构
湖北大学计算机学院
大数据智能分析与行业应用湖北省重点实验室(湖北大学)
智慧政务与人工智能应用湖北省工程研究中心(湖北大学)
-
出处
《计算机应用》
北大核心
2025年第5期1496-1503,共8页
-
基金
国家自然科学基金资助项目(61977021)。
-
文摘
在文档级关系抽取(DocRE)任务中,现有模型主要侧重于学习文档中实体间的交互,忽略了对实体内部结构的学习,并很少关注到文档中的代词指代识别问题以及对逻辑规则的应用,这导致模型对文档中实体间关系的建模不够准确。因此,基于Transformer的架构融合关系回指图,建模实体间交互和实体内部结构,从而利用回指将更多上下文信息聚合到相应实体上以提高关系抽取的准确性。此外,采用数据驱动方式从关系注释中挖掘逻辑规则,增强对文本隐含逻辑关系的理解和推理能力。针对样本不平衡问题,引入加权长尾损失函数提高对稀有关系的识别准确性。在2个公开数据集DocRED(Document-level Relation Extraction Dataset)和Re-DocRED(Revisiting Documentlevel Relation Extraction Dataset)上的实验结果表明,所提模型性能表现最优,在DocRED测试集上,基于BERT编码器的模型的IgnF1和F1值比基线模型ATLOP(Adaptive Thresholding and Localized cOniext Pooling)分别提高了1.79和2.09个百分点,可见所提模型的综合性能较高。
-
关键词
文档级关系抽取
关系回指图
逻辑规则
样本不平衡
加权长尾损失函数
-
Keywords
document-level relation extraction(docre)
anaphor-aware relation graph
logical rule
sample imbalance
weighted long-tail loss function
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名基于实体表示增强的文档级关系抽取
- 2
-
-
作者
王海杰
张广鑫
史海
陈树
-
机构
江南大学物联网工程学院
-
出处
《计算机应用》
北大核心
2025年第6期1809-1816,共8页
-
文摘
针对现有的文档级关系抽取(DocRE)任务的实体表示学习存在的忽视实体提及差异性和缺少实体对关系抽取复杂度的计算范式的问题,提出一种基于实体表示增强的DocRE模型(DREERE)。首先,利用注意力机制评估实体提及在判定不同实体对关系时的差异性,得到更灵活的实体表示;其次,利用编码器计算得到的实体对句子重要性分布评估实体对关系抽取的复杂度,再选择性地利用实体对之间的两跳信息增强实体对的表示;最后,在3个流行的数据集DocRED、Re-DocRED和DWIE上进行实验。结果显示,与最优基线模型(如ATLOP(Adaptive Thresholding and Localized cOntext Pooling)、E2GRE(Entity and Evidence Guided Relation Extraction))相比,DREERE的F1值分别提高了0.06、0.14和0.23个百分点,忽略训练集出现的三元组而计算得到的F1分数(ign-F1)值分别提高了0.07、0.09和0.12个百分点,可见该模型能够有效获取文档里的实体语义信息。
-
关键词
文档级关系抽取
注意力机制
证据搜索
表示学习
两跳信息
-
Keywords
document-level relation extraction(docre)
attention mechanism
Evidence Retrieval(ER)
representation learning
two-hop information
-
分类号
TP391.1
[自动化与计算机技术—计算机应用技术]
-
-
题名解耦知识蒸馏在文档级关系抽取中的应用
- 3
-
-
作者
刘乐
肖蓉
杨肖
-
机构
湖北大学计算机与信息工程学院
-
出处
《计算机科学》
北大核心
2025年第8期277-287,共11页
-
基金
湖北省自然科学基金(E1KF291005)
云南省自然科学基金(2022KZ00125)。
-
文摘
文档级关系抽取是自然语言处理领域中的一个重要研究方向,旨在从无结构或半结构的自然语言文档中提取实体之间的语义关系。提出了结合使用解耦知识蒸馏方法和交叉多头注意力机制来解决文档级关系抽取任务。首先,交叉多头注意机制不仅能够并行关注不同注意力头中的元素,使模型在不同粒度和层级上进行信息的交流和整合,而且允许模型在计算头实体与尾实体之间的注意力时,同时考虑它们与关系之间的相关性,从而提升模型对复杂关系的理解能力,增强模型对实体特征表示的学习。此外,为了进一步优化模型性能,还引入了解耦知识蒸馏方法去适应远程监督数据。该方法将原始KL散度损失中的目标类别知识蒸馏损失TCKDL和非目标类别知识蒸馏损失NCKDL解耦为了两个可以通过超参数调整其权重重要性的独立部分,提高了知识蒸馏过程的灵活性和有效性,特别是在处理DocRED远程监督数据中的噪声时,能够更精准地进行知识迁移和学习。实验结果表明,所提模型在DocRED数据集上能够更有效地提取实体对之间的关系。
-
关键词
自然语言处理
文档级关系抽取
docreD
交叉多头注意力
解耦知识蒸馏
远程监督数据
KL散度
-
Keywords
Natural language processing
document-level relation extraction
docreD
Cross Multi-head attention
Decoupled knowledge distillation
Distantly supervised data
Kullback-Leibler divergence
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
