题名 基于潜层主题结构表示增强的跨领域文本生成
1
作者
刘小明 赵梦婷 杨关 刘杰
机构
中原工学院计算机学院 河南省网络舆情监测与智能 分析重点实验室 郑州市文本处理与图像理解重点实验室 北方工业大学信息学院 国家语委中国语言智能研究中心
出处
《中文信息学报》
北大核心
2025年第5期150-163,176,共15页
基金
国家科技创新-2030重大项目(2020AAA0109700) 国家自然科学基金(62076167,61772020) 河南省高等学校重点科研项目(24A520058,23A520022)。
文摘
现有的低资源生成模型大多使用预训练的词嵌入来解决目标领域数据稀疏问题,但这种方法难以捕捉不同领域间的潜层结构信息,经常忽略潜在主题对捕捉关键信息的重要作用。为了解决这些问题,该文联合神经主题模型提取潜在主题,从而为生成的语句选择提供全局特征,并结合词嵌入和主题嵌入,增强模型对潜在主题信息的利用,然后通过对不同领域的主题对齐,捕捉相似潜层主题结构表示。在文本生成不同任务的数据集上进行的大量实验表明,该模型在摘要生成任务的六个低资源领域数据集、CNN/DailyMail数据集和SAMsum数据集上的ROUGE-1均值相较于基准模型分别提高了0.92%、3.71%和1.0%;在对话生成任务中,该模型在ESConv数据集上的各项指标也表现出良好的结果。
关键词
低资源 结构特征 主题模型
Keywords
low resources structural features topic model
分类号
TP391
[自动化与计算机技术—计算机应用技术]
题名 任务协作表示增强的要素及关系联合抽取模型
被引量：1
2
作者
刘小明 王杭 杨关 刘杰 曹梦远
机构
中原工学院计算机学院 郑州市文本处理与图像理解重点实验室 北方工业大学信息学院 国家语委中国语言智能研究中心
出处
《电子学报》
EI
CAS
CSCD
北大核心
2024年第6期1955-1962,共8页
基金
“新一代人工智能”国家科技重大专项(No.2020AAA0109703) 国家自然科学基金(No.62076167,No.61772020,No.U23B2029) 河南省高等学校重点科研项目(No.23A520022)。
文摘
对文本中诸如实体与关系、事件及其论元等要素及其特定关系的联合抽取是自然语言处理的一项关键任务.现有研究大多采用统一编码或参数共享的方式隐性处理任务间的交互,缺乏对任务之间特定关系的显式建模,从而限制模型充分利用任务间的关联信息并影响任务间的有效协同.为此,提出了一种基于任务协作表示增强的要素及关系联合抽取模型(Task-Collaboration Representation Enhanced model for joint extraction of elements and relationships,TCRE).该模型旨在从多个阶段处理任务间的特定关系,帮助子任务进行更细致的调节和优化,促进整体性能的提升.在三个关系抽取和一个事件抽取数据集上进行实验,TCRE在实体识别和关系提取任务上平均性能分别提高0.57%和0.77%,在触发词识别和论元角色分类任务上分别提高0.7%和1.4%.此外,TCRE还显示出在缓解“跷跷板现象”方面的作用.
关键词
关系表示 联合抽取 任务协作 多任务学习 跷跷板现象
Keywords
relationship representation joint extraction task collaboration multi task learning seesaw phenomenon
分类号
TP391
[自动化与计算机技术—计算机应用技术]
题名 因果关系表示增强的跨领域命名实体识别
3
作者
刘小明 曹梦远 杨关 刘杰 王杭
机构
中原工学院计算机学院 国家语委中国语言智能研究中心 郑州市文本处理与图像理解重点实验室 河南省网络舆情监测与智能 分析重点实验室 北方工业大学信息学院
出处
《计算机工程与应用》
CSCD
北大核心
2024年第18期176-188,共13页
基金
国家自然科学基金(62076167,61772020) 河南省高等学校重点科研项目(24A520058,23A520022)。
文摘
跨领域命名实体识别在现实应用中,尤其在目标领域数据稀缺的小样本场景中具有重要价值。然而,现有方法主要是通过特征表示或模型参数共享实现的跨领域实体能力迁移,未充分考虑由于样本选择偏差而引起的虚假相关性问题。为了解决跨领域中的虚假相关性问题,提出一种因果关系表示增强的跨领域命名实体识别模型,将源域的语义特征表示与目标域的语义特征表示进行融合,生成一种增强的上下文语义特征表示。通过结构因果模型捕捉增强后的特征变量与标签之间的因果关系。在目标域中应用因果干预和反事实推断策略,提取存在的直接因果效应,从而进一步缓解特征与标签之间的虚假相关性问题。该方法在公共数据集上进行了实验,实验结果得到了显著提高。
关键词
跨领域命名实体识别 迁移学习 因果关系 结构因果模型 语义特征表示
Keywords
cross-domain named entity recognition transfer learning causal relationship structural causal model semantic feature representation
分类号
TP391.1
[自动化与计算机技术—计算机应用技术]
题名 基于潜层关系增强的实体和关系联合抽取
4
作者
王鹏 刘小明 杨关 刘杰 刘阳
机构
中原工学院计算机学院 中原工学院河南省网络舆情监测与智能 分析重点实验室 北方工业大学信息学院 国家语委中国语言智能研究中心 西安电子科技大学通信工程学院
出处
《计算机工程与设计》
北大核心
2024年第6期1780-1788,共9页
基金
国家科技创新-2030重大基金项目(2020AAA0109700) 国家自然科学基金项目(62076167) +1 种基金 东北师范大学应用统计教育部重点实验室基金项目(135131007) 国家自然科学基金青年基金项目(61906141)。
文摘
为充分发掘文本序列中潜层语义关系信息,提出一种实体和关系联合抽取的潜层关系增强模型SREM(text subtext relationship enhancement model)。在潜层关系表示层利用结构化对齐的方式,获取并保持文本序列中的语义信息结构。在融合注意力机制的关系网络层中对数据进行建模,提高模型对文本词汇间关系信息的捕获能力。结合注意力机制获取细粒度语义信息,对上下文信息进行选择过滤。实验结果表明,在数据集NYT和WebNLG上取得的F1值分别为92.40%和92.52%,验证了模型的有效性。
关键词
联合抽取 语义关系 结构化知识 潜层表示 注意力机制 关系网路 信息过滤
Keywords
joint extraction semantic relation structured knowledge submerged representation attention relationship network information filtering
分类号
TP391
[自动化与计算机技术—计算机应用技术]
题名 多层结构化语义知识增强的跨领域命名实体识别
被引量：2
5
作者
张文韩 刘小明 杨关 刘杰
机构
中原工学院计算机学院 河南省网络舆情监测与智能 分析重点实验室(中原工学院) 北方工业大学信息学院 国家语委中国语言智能研究中心 (首都师范大学)
出处
《计算机研究与发展》
EI
CSCD
北大核心
2023年第12期2864-2876,共13页
基金
国家重点研发计划项目(2020AAA0109700) 国家自然科学基金项目(62076167) 河南省高等学校重点科研项目(23A520022)。
文摘
跨域命名实体识别旨在缓解目标领域标注数据不足的问题.现有方法通常利用特征表示或者模型参数的共享来实现实体识别能力的跨领域迁移,但对文本序列中结构化知识的充分利用仍有所欠缺.基于此,提出了基于多层结构化语义知识增强的跨领域命名实体识别(multi-level structured semantic knowledge enhanced cross-domain named entity recognition,MSKE-CDNER)模型,即通过在多个层级实现对源领域和目标领域文本各自蕴含的结构化表示的对齐来促进实体识别能力跨领域迁移.首先,MSKE-CDNER利用结构特征表示层从不同领域中获取文本的结构化语义知识表示;然后,将获得的结构化语义知识表示通过潜层对齐模块在对应的层级进行结构化对齐,获取结构化的跨领域不变知识,从而提高模型对文本结构化知识的利用;此外,将域不变知识与特定域知识融合,进一步增强模型的泛化能力;最后,分别在5个英文数据集和特定的跨域命名实体识别数据集上进行实验.结果显示,对比当前跨域模型,MSKE-CDNER的平均性能提高了0.43%和1.47%,表明利用特征表示中的结构化知识可以有效提高目标领域的实体识别能力.
关键词
跨域命名实体识别 跨领域迁移 结构化对齐 结构化知识 域不变知识
Keywords
cross-domain named entity recognition cross-domain transfer structured alignment structured knowledge domain invariant knowledge
分类号
TP391.1
[自动化与计算机技术—计算机应用技术]
题名 基于潜层结构化语义增强的低资源摘要模型
被引量：1
6
作者
刘宇 刘小明 刘卫光 杨关 刘杰
机构
中原工学院计算机学院 河南省网络舆情监测与智能 分析重点实验室 中原工学院软件学院 北方工业大学信息学院 国家语委中国语言智能研究中心
出处
《计算机科学与探索》
CSCD
北大核心
2023年第8期1961-1973,共13页
基金
国家重点研发计划(2020AAA0109700) 国家自然科学基金(62076167,61772020)。
文摘
生成任务通常采用数据增强或预训练结合微调的方式进行处理,对于源文本与目标摘要之间的潜层结构化语义信息未能充分利用。为此,提出一种基于潜层结构化语义增强的低资源摘要模型,以图结构对齐的方式增强模型对结构化信息的利用。首先,该模型通过结构特征表示层获取源文本与预测摘要的潜层结构化语义特征。然后,将获得的语义特征利用潜层结构对齐模块进行节点对齐和边对齐,这种对齐有助于模型捕捉语义特征中的结构化信息,从而增强模型对结构化知识的利用。最后,利用源文本与预测摘要之间的结构化特征对齐距离作为目标损失的正则项来辅助模型进行优化。在六个领域的低资源数据集上进行实验,ROUGE-1分值相对于基线模型平均提高了0.58。结果表明利用潜层结构化语义知识可以有效提高低资源摘要生成的能力。
关键词
低资源 结构化 语义特征 图结构
Keywords
low resources structured semantic features graph structure
分类号
TP399
[自动化与计算机技术—计算机应用技术]
