基于Boosting优先经验重放的协同计算卸载方法 被引量：1

1

作者 黄毅 王文轩 +3 位作者 崔允贺 陈意 郭春 申国伟 《计算机应用研究》 北大核心 2025年第3期777-787,共11页

现有计算卸载方法没有考虑终端设备和边缘服务器的不同任务排队情况,导致计算卸载模型的时延估计存在偏差。更重要的是,现有基于强化学习的计算卸载方法通过计算时序差分(temporal difference,TD)误差进行经验重放,无法精确评估历史经... 现有计算卸载方法没有考虑终端设备和边缘服务器的不同任务排队情况,导致计算卸载模型的时延估计存在偏差。更重要的是,现有基于强化学习的计算卸载方法通过计算时序差分(temporal difference,TD)误差进行经验重放,无法精确评估历史经验的重要性,导致卸载决策精度降低。为解决上述问题,在移动蜂窝网络边缘计算场景下,考虑多设备、多服务器的计算卸载问题,提出一种基于Boosting优先经验重放的协同计算卸载方法—COOPERANT。针对任务调度问题,COOPERANT构建了终端设备任务排队模型及服务器任务排队模型;针对任务卸载问题,COOPERANT设计了融合Boosting的优先经验重放算法、任务卸载联合优化模型、计算卸载多智能体深度强化学习模型及COOPERANT网络更新策略。实验证明,相比于遗传算法、蚁群算法、鲸鱼优化算法、MADDPG算法、TD-MADDPG算法以及MAPPO算法,COOPERANT能够有效降低系统时延和能耗开销,提升网络收敛速度。 展开更多

关键词 计算卸载 BOOSTING 多智能体深度强化学习 优先经验重放

在线阅读 下载PDF 职称材料

基于分布增强的深度变分文本聚类模型

2

作者 申奥 黄瑞章 +2 位作者 薛菁菁 陈艳平 秦永彬 《计算机应用》 北大核心 2025年第8期2457-2463,共7页

针对深度变分文本聚类模型在实际应用中遇到的分布信息缺失和分布坍塌问题,提出一种基于分布增强的深度变分文本聚类模型(DVCMD)。该模型通过分布信息增强的方法,整合增强潜在语义分布至原始潜在语义分布,从而提高潜在分布的信息完整性... 针对深度变分文本聚类模型在实际应用中遇到的分布信息缺失和分布坍塌问题,提出一种基于分布增强的深度变分文本聚类模型(DVCMD)。该模型通过分布信息增强的方法,整合增强潜在语义分布至原始潜在语义分布,从而提高潜在分布的信息完整性和准确性;同时,采用分布一致性约束策略促使模型学习一致的语义表征,从而提高模型通过学习的语义分布对数据真实信息的表达能力,进而提升聚类性能。实验结果表明,与现有的深度聚类模型和结构语义增强聚类模型相比,DVCMD的归一化互信息(NMI)指标在Abstract、BBC、Reuters-10k和BBCSports这4个真实数据集上分别至少提升了0.16、9.01、2.30和2.72个百分点,验证了模型的有效性。 展开更多

关键词 深度文本聚类 分布增强 变分自编码器 语义表征 分布一致性约束

在线阅读 下载PDF 职称材料

基于关联邻接矩阵的关系抽取方法研究

3

作者 杨润 陈艳平 +1 位作者 闫家鑫 秦永彬 《计算机工程》 北大核心 2025年第10期121-129,共9页

图神经网络能够有效地聚合节点间的信息、编码句子的结构信息,因此被广泛应用于关系抽取任务。然而,目前基于图神经网络的关系抽取方法常需要借助外部解析工具构建依赖树,这一过程可能会产生误差,导致错误的信息传递。为了解决上述问题... 图神经网络能够有效地聚合节点间的信息、编码句子的结构信息,因此被广泛应用于关系抽取任务。然而,目前基于图神经网络的关系抽取方法常需要借助外部解析工具构建依赖树,这一过程可能会产生误差,导致错误的信息传递。为了解决上述问题,提出一种基于关联邻接矩阵的图卷积神经网络(GCN)模型用于关系抽取。首先,通过RoBERTa(Robustly optimized BERT approach)预训练语言模型(PLM)将每个词转换为向量表示,并通过点乘计算词向量之间的关联度。然后,基于词之间的关联度和相对实体位置特征构建关联邻接矩阵,并利用GCN提取句子的语义结构特征。最后,利用残差连接缓解模型训练过程中的梯度消失问题,并通过融合句子表示和实体表示得到最终的分类表示。该模型避免了使用外部解析工具可能引起的误差传播。实验结果表明,与现有基于图卷积的模型相比,其在TACRED(Temporal Action and Relation Corpus)和Re-TACRED数据集的关系抽取任务上精确率、召回率、F1值分别获得了68.8%、77.5%、72.8%和90.5%、91.3%、90.9%的良好性能,验证了该模型的有效性和可行性。 展开更多

关键词 关系抽取 位置信息 关联邻接矩阵 图神经网络 结构信息

在线阅读 下载PDF 职称材料

基于自适应结构学习的深度文本聚类 被引量：3

4

作者 潘伟 黄瑞章 +1 位作者 任丽娜 薛菁菁 《计算机工程》 CAS CSCD 北大核心 2024年第11期89-97,共9页

近年来,将结构信息应用于深度文本聚类中以提升聚类效果取得了较优的成果。然而,结构信息的构造方法大多只进行简单的距离测算且近邻数量固定,导致构建的图难以获得较精确的文本结构信息。另外,众多方法对近邻文本只进行一阶挖掘,使图... 近年来,将结构信息应用于深度文本聚类中以提升聚类效果取得了较优的成果。然而,结构信息的构造方法大多只进行简单的距离测算且近邻数量固定,导致构建的图难以获得较精确的文本结构信息。另外,众多方法对近邻文本只进行一阶挖掘,使图结构信息未得到完全挖掘,限制了结合结构信息的深度文本聚类性能。为此,提出一种基于自适应结构学习的深度文本聚类模型DCMBS。首先,设计一种阈值构图方法,动态调整近邻文本数量,解决因近邻文本固定存在结构信息不精确的问题;其次,引入一种拓扑探索近邻的方法,对近邻文本进行多阶挖掘,解决以往方法只进行一阶挖掘存在结构信息不完整的问题。此外,设计了1个阈值衰减策略,避免拓扑过程中因拓扑阶数增加导致学习泛化。在4个真实数据集的实验结果表明,DCMBS与现有较好的聚类模型相比,准确度、归一化互信息(NMI)和调整兰德指数(ARI)平均提高了6.83、2.93、6.23个百分点。 展开更多

关键词 阈值 深度文本聚类 文本结构信息 图神经网络 自适应结构学习

在线阅读 下载PDF 职称材料

面向复杂刑事案件的涉案金额识别方法

5

作者 田如君 林川 +3 位作者 黄瑞章 陈艳平 杨志 秦永彬 《计算机工程与设计》 北大核心 2025年第6期1556-1563,共8页

针对现有涉案金额识别方法在复杂案件(一案多人)上面临金额的所属关系易混淆及意图多样性问题,提出一种面向复杂刑事案件的涉案金额识别推理方法。通过分析裁判文书的逻辑结构,抽取文书中的金额相关要素并结合文书的特征构建金额共现图... 针对现有涉案金额识别方法在复杂案件(一案多人)上面临金额的所属关系易混淆及意图多样性问题,提出一种面向复杂刑事案件的涉案金额识别推理方法。通过分析裁判文书的逻辑结构,抽取文书中的金额相关要素并结合文书的特征构建金额共现图,用图的形式对金额的归属关系进行表示,使用图神经网络(graph neural network, GNN)在金额共现图中学习要素节点之间的语义依赖信息和结构信息,获取其深层的节点特征,实现对涉案金额的识别和推理。在公共比赛数据集LAIC2021(Legal AI Challenge 2021)上的准确率(Accuracy, Acc)值达到94.75%,比当前最优模型提升了3.7%,在某省人民法院裁判文书复杂案件数据集上的Acc值达到74.16%。 展开更多

关键词 刑事案件 涉案金额识别 裁判文书逻辑结构 金额共现图 图神经网络 司法智能 特征融合

在线阅读 下载PDF 职称材料

结合实体边界偏移的序列标注优化方法

6

作者 余婧 陈艳平 +2 位作者 扈应 黄瑞章 秦永彬 《计算机应用》 北大核心 2025年第8期2522-2529,共8页

针对序列标注模型在命名实体识别(NER)任务中出现的识别的实体边界与真实的实体边界之间存在位置偏差的问题,提出一种结合实体边界偏移的序列标注优化方法。首先,引入边界偏移量的概念量化每个词与实体边界之间的位置关系,计算每个词与... 针对序列标注模型在命名实体识别(NER)任务中出现的识别的实体边界与真实的实体边界之间存在位置偏差的问题,提出一种结合实体边界偏移的序列标注优化方法。首先,引入边界偏移量的概念量化每个词与实体边界之间的位置关系,计算每个词与最近实体边界的相对偏移量,再利用这些偏移量生成实体边界的候选跨度;其次,利用交并比(IoU)作为筛选标准过滤低质量的候选跨度,以保留最有可能代表实体边界的候选跨度;最后,通过边界调整模块,根据候选跨度更新标签序列中实体边界的位置,从而优化整个标签序列的实体边界,并提升实体识别的性能。实验结果表明,所提方法在数据集CLUENER2020、Resume-zh和MSRA上的F1值分别达到了80.48%、96.42%和94.80%,验证了该方法对NER任务的有效性。 展开更多

关键词 命名实体识别 序列标注 边界偏移 交并比 边界调整

在线阅读 下载PDF 职称材料

结合位置感知的命名实体识别方法

7

作者 王纪恬 陈艳平 +2 位作者 黄蓉 黄瑞章 秦永彬 《广西科学》 北大核心 2025年第1期96-105,共10页

命名实体识别(Named Entity Recognition,NER)的性能影响自然语言处理中诸多下游任务。跨度分类是命名实体识别常用的方法,由于其需要枚举每一个跨度,因此存在高复杂度和大量负实例问题。此外,对每个跨度的独立预测不仅忽略了词与词之... 命名实体识别(Named Entity Recognition,NER)的性能影响自然语言处理中诸多下游任务。跨度分类是命名实体识别常用的方法,由于其需要枚举每一个跨度,因此存在高复杂度和大量负实例问题。此外,对每个跨度的独立预测不仅忽略了词与词之间的依赖关系和位置信息,而且导致模型获取的语义信息较为单一,从而忽略了全局信息。针对上述问题,本文提出结合位置感知的命名实体识别方法。具体来说,首先使用位置编码增强词与词之间的位置特征,序列融合了绝对位置信息和相对位置信息,从而得到关注语序的语义信息,预测可能的实体边界;然后对候选实体边界进行匹配组合并过滤生成带有标签信息的候选实体实例;最后使用具有局部信息感知的标签注意力机制和多层感知机联合判断候选实体的标签。实验结果表明,本文提出模型在ACE2005、GENIA和CoNLL-2003数据集上的F 1分数分别达到90.02%、81.33%和94.52%,该结果充分验证了所提模型在不同数据集上的有效性,进一步证明了其在命名实体识别任务中的优越性能。 展开更多

关键词 命名实体识别 嵌套命名实体识别 边界检测 位置编码 神经网络

在线阅读 下载PDF 职称材料

基于提示标签协同的关系抽取方法

8

作者 冉哲宇 陈艳平 +2 位作者 王凯 黄瑞章 秦永彬 《计算机科学与探索》 北大核心 2025年第6期1580-1587,共8页

提示学习可以将下游任务转换为预训练任务形式的掩码预测任务。然而,将提示学习应用于关系抽取任务时,由于掩码的输出是标签类别的语义向量表示,容易导致生成空间过大而对掩码语义解析度不足。针对这一问题,提出了一种基于提示标签协同... 提示学习可以将下游任务转换为预训练任务形式的掩码预测任务。然而,将提示学习应用于关系抽取任务时,由于掩码的输出是标签类别的语义向量表示,容易导致生成空间过大而对掩码语义解析度不足。针对这一问题,提出了一种基于提示标签协同的关系抽取方法。为每个关系类构建两组同义词标签。其中一组用于学习掩码表示,另一组用于强化标签语义。在掩码语言模型中引入约束层以对掩码表示进行双向约束。使得两组同义词标签间隐含差异的语义和先验知识能够融入到关系表示中。由于同义词标签是基于知识初始化的,它们在潜在变量空间中可能不是最优的,应该与周围的上下文相关联。因此,在训练过程中,同义词标签表示会与掩码共同参与优化。提出的方法能够提高模型对标签语义的认知能力,同时优化掩码表示,从而提升模型对掩码的语义解析能力。实验结果表明,该方法在标准和小样本设置的三个公共数据集上均明显优于对比方法,证明了该方法的有效性。 展开更多

关键词 提示学习 提示标签协同 掩码语言模型

在线阅读 下载PDF 职称材料

基于特征组合的异构图注意力网络关系抽取

9

作者 闫家鑫 陈艳平 +2 位作者 杨卫哲 黄瑞章 秦永彬 《计算机应用》 北大核心 2025年第8期2470-2476,共7页

关系抽取旨在从句子中提取2个实体之间的预定义语义关系。传统基于图神经网络的关系抽取方法一般通过依赖树构建句子的图表示结构;然而,使用依赖树构建出的图结构表达能力单一,且无法完整捕捉到目标实体丰富的语法结构信息。针对这些问... 关系抽取旨在从句子中提取2个实体之间的预定义语义关系。传统基于图神经网络的关系抽取方法一般通过依赖树构建句子的图表示结构;然而,使用依赖树构建出的图结构表达能力单一,且无法完整捕捉到目标实体丰富的语法结构信息。针对这些问题,提出基于特征组合的异构图注意力网络(HGAT)关系抽取方法。首先,抽取句子中的原子特征,并通过组合这些原子特征得到句子的组合特征;其次,把组合特征和关系标签表示为异构图上的两种节点以构建“特征-关系二部图”;最后,使用图注意力网络动态地更新节点,进而实现关系抽取。所提方法能有效利用组合特征和句子中的语法结构信息,进而提升关系抽取的性能。在ACE05英文数据集和SemEval-2010 task 8数据集上的实验结果表明,所提方法分别达到了84.11%和90.67%的F1值,证明了所提方法的有效性。 展开更多

关键词 关系抽取 原子特征 特征组合 异构图 图注意力网络

在线阅读 下载PDF 职称材料

基于掩码注意力与多特征卷积网络的关系抽取方法

10

作者 卢展跃 陈艳平 +2 位作者 杨卫哲 黄瑞章 秦永彬 《广西师范大学学报(自然科学版)》 北大核心 2025年第3期12-22,共11页

关系抽取旨在抽取2个命名实体之间的语义关系。近年来,提示学习通过拼接提示模板并进行掩码预测的方式,统一了预训练语言模型训练和微调过程的优化目标,在关系抽取领域取得优异的性能。然而,固定的提示模板与关系实例间的弱语义关联导... 关系抽取旨在抽取2个命名实体之间的语义关系。近年来,提示学习通过拼接提示模板并进行掩码预测的方式,统一了预训练语言模型训练和微调过程的优化目标,在关系抽取领域取得优异的性能。然而,固定的提示模板与关系实例间的弱语义关联导致模型对复杂关系的语义感知能力差。针对这一问题,本文提出一种基于掩码注意力与多特征卷积网络的关系抽取方法。该方法采用三仿射注意力机制将提示模板中的掩码与关系实例的语义空间进行交互映射,形成二维掩码语义,并利用多特征卷积网络和多层感知机提取二维掩码语义中的关系信息。该方法通过建立掩码与关系实例间的显式语义依赖,增强提示模型对复杂关系的语义感知能力。该方法在数据集SemEval、SciERC和CLTC上的F_(1)值分别达到91.4%、91.2%和82.6%,验证了该方法的有效性。 展开更多

关键词 自然语言处理 关系抽取 提示学习 三仿射注意力机制 卷积神经网络

在线阅读 下载PDF 职称材料

基于平面化句子表示提升关系抽取性能

11

作者 王昊 陈艳平 +1 位作者 黄瑞章 秦永彬 《计算机工程与应用》 北大核心 2025年第16期171-178,共8页

关系抽取旨在识别句子中命名实体之间的关系。上下文语境决定了命名实体间的真实关系,因此研究者们期望模型能够正确识别上下文语境中反映的实体语义关系。然而,现有的关系抽取模型在很大程度上倾向于对实体名称模式的记忆,即通过学习... 关系抽取旨在识别句子中命名实体之间的关系。上下文语境决定了命名实体间的真实关系,因此研究者们期望模型能够正确识别上下文语境中反映的实体语义关系。然而,现有的关系抽取模型在很大程度上倾向于对实体名称模式的记忆,即通过学习和匹配特定实体名称组合来推断关系,而非基于上下文信息进行关系判断。这种对上下文信息的忽视可能导致模型在面对复杂语境、多义实体或罕见关系表达时,其预测性能受到限制,无法达到理想状态下的高精度与强泛化。为了解决这一问题,通过将输入文本转化为抽象的语义平面,并直接基于整个语义平面的信息进行关系判断,从而强制模型在预测实体间关系时考虑上下文信息。实验证明,该方法在中文文学文本语料、ACE05英文和SemEval-2010 Task-8三个数据集上的F1分数分别超过之前的相关研究1.9、1.03和0.39个百分点,有效提高了模型对上下文信息的利用程度和对复杂文本中实体关系的理解深度。 展开更多

关键词 关系抽取 语义平面 实体偏差 平面化句子表示

在线阅读 下载PDF 职称材料

多尺度语义收敛差分算子的命名实体识别方法

12

作者 杨采薇 陈艳平 +1 位作者 秦永彬 黄瑞章 《中文信息学报》 北大核心 2025年第6期99-109,118,共12页

平面化句子表示是将传统的一维句子向量映射到二维的语义平面,其中每个单元代表了一个跨度,并与邻近的单元共享上下文语义,这会导致具有真实语义的跨度单元存在语义扩散到相邻单元导致语义混淆的问题。基于此,该文提出多尺度语义收敛差... 平面化句子表示是将传统的一维句子向量映射到二维的语义平面,其中每个单元代表了一个跨度,并与邻近的单元共享上下文语义,这会导致具有真实语义的跨度单元存在语义扩散到相邻单元导致语义混淆的问题。基于此,该文提出多尺度语义收敛差分算子的命名实体识别方法。首先利用预训练模型将句子表示为包含上下文信息的字符嵌入向量;其次通过多头双仿射将字符嵌入向量映射为平面化句子表示,平面化句子表示中的每个单元代表所包含的跨度信息;然后,采用差分信息来表征跨度单元的上下文语义突变及细节特征,从而聚合语义强度和梯度信息;最后,通过解码器识别实体类型。该模型在嵌套实体ACE2005英文、中文数据集和扁平实体CoNLL2003数据集上进行实验,F_(1)值分别达到了86.85%,89.43%和93.05%。实验结果表明,与其他现有主流模型相比,该模型能更好地识别命名实体。 展开更多

关键词 命名实体识别 平面化句子表示 差分卷积 收敛实体语义

在线阅读 下载PDF 职称材料

融合边界交互信息的命名实体识别方法

13

作者 何安康 陈艳平 +2 位作者 扈应 黄瑞章 秦永彬 《广西师范大学学报(自然科学版)》 北大核心 2025年第3期1-11,共11页

命名实体识别是自然语言处理领域中的一项基本任务,旨在识别和分类文本中的命名实体。目前,基于跨度的方法在实体识别方面取得一定进展,但这些方法往往忽视了候选跨度的质量差异。针对该问题,本文提出一种融合边界交互信息的命名实体识... 命名实体识别是自然语言处理领域中的一项基本任务,旨在识别和分类文本中的命名实体。目前,基于跨度的方法在实体识别方面取得一定进展,但这些方法往往忽视了候选跨度的质量差异。针对该问题,本文提出一种融合边界交互信息的命名实体识别方法。该方法通过一个边界交互模块评估边界间的语义关联和交互强度,生成边界交互信息矩阵,用于识别边界间潜在的语义联系,引导模型识别和标记出高质量的候选跨度。此外,该方法集成多尺度空洞卷积模块,利用跨度之间的语义关系来减轻非实体噪声的影响。实验表明,本文方法在ACE2005中文数据集、ACE2005英文数据集和Weibo数据集上的F 1值分别达到89.78%、87.37%和72.10%,与基准模型相比分别提升0.67、0.95和0.69个百分点,验证了该方法对命名实体识别的有效性。 展开更多

关键词 自然语言处理 命名实体识别 信息抽取 边界交互

在线阅读 下载PDF 职称材料

基于不确定性估计的微调代码生成模型与大语言模型的协同方法

14

作者 洪少东 申国伟 +1 位作者 罗素芬 刘涛 《计算机应用研究》 北大核心 2025年第10期2947-2955,共9页

针对代码生成任务,微调模型与大语言模型(LLM)的互补机制尚未得到系统性分析,导致两者在协同过程中存在决策边界模糊的问题。提出一种基于不确定性估计的微调代码生成模型与LLM的协同方法Coral,分析微调代码生成模型与LLM的互补机制,量... 针对代码生成任务,微调模型与大语言模型(LLM)的互补机制尚未得到系统性分析,导致两者在协同过程中存在决策边界模糊的问题。提出一种基于不确定性估计的微调代码生成模型与LLM的协同方法Coral,分析微调代码生成模型与LLM的互补机制,量化两者决策边界。Coral通过预期校准误差的思想,比较不确定性估计方法,为微调模型配备较为稳定的不确定性估计方法,使其能够输出不确定性估计得分,反映输出的不确定性。Coral通过最大化微调模型与LLM在验证数据集的BLEU指标,计算不确定性估计阈值,量化两者的决策边界。基于阈值与微调模型输出的不确定性估计得分识别分布内(in-distribution,ID)与分部外(out-of-distribution,OOD)数据,利用LLM提升微调模型在OOD数据的泛化能力,从而提升代码生成任务的整体效果。在两个基准数据集的性能测试中,Coral的BLEU与Exact Match得分优于单独使用微调模型或LLM,证明所提方法能够有效协同微调模型与LLM。 展开更多

关键词 大语言模型 微调模型 代码生成 不确定性估计

在线阅读 下载PDF 职称材料

面向机器阅读理解的边界感知方法

15

作者 刘青 陈艳平 +2 位作者 邹安琪 黄瑞章 秦永彬 《计算机应用》 CSCD 北大核心 2024年第7期2004-2010,共7页

针对现有的基于预训练语言模型的答案获取方法存在预测边界不够准确的问题,提出一种面向片段抽取式机器阅读理解(MRC)的边界感知方法。首先,在问题输入阶段引入特殊字符标记问题边界,通过增强问题语义信息的方式实现对问题边界的感知;其... 针对现有的基于预训练语言模型的答案获取方法存在预测边界不够准确的问题,提出一种面向片段抽取式机器阅读理解(MRC)的边界感知方法。首先,在问题输入阶段引入特殊字符标记问题边界,通过增强问题语义信息的方式实现对问题边界的感知;其次,在答案预测阶段,构建答案边界回归器,实现感知的问题边界语义信息与输出的预测答案边界语义信息的语义交互;最后,通过交互后的语义信息进一步调整存在偏差的预测答案边界,实现对预测答案的校准。实验结果表明,与SpanBERT(Span-based Bidirectional Encoder Representation from Transformers)相比,该方法在公共数据集SQuAD(Stanford Question Answering Dataset)1.1上的F1值提升了0.2个百分点、精确匹配(EM)值提升了0.9个百分点;在HotpotQA(Hotpot Question Answering)数据集上的F1值和EM值都提升了0.7个百分点;在NewsQA(News Question Answering)数据集上的F1值提升了2.8个百分点、EM值提升了3.3个百分点。可见,该方法能有效增强对问题边界信息的感知并且实现对预测答案边界的校准,有利于更好地理解和分析文本数据,在智能问答、智能客服等领域的应用中提高系统的准确性。 展开更多

关键词 机器阅读理解 问题边界感知 答案边界回归 片段抽取

在线阅读 下载PDF 职称材料

面向小样本抽取式问答的多标签语义校准方法

16

作者 刘青 陈艳平 +2 位作者 邹安琪 秦永彬 黄瑞章 《应用科学学报》 CAS CSCD 北大核心 2024年第1期161-173,共13页

小样本抽取式问答任务旨在利用文章给定的上下文片段,抽取出真实的答案片段。其基线模型采用的方法只针对跨度进行学习,缺乏对全局语义信息的利用,在含有多组不同重复跨度的实例中存在着理解偏差等问题。为了解决上述问题,该文利用不同... 小样本抽取式问答任务旨在利用文章给定的上下文片段,抽取出真实的答案片段。其基线模型采用的方法只针对跨度进行学习,缺乏对全局语义信息的利用,在含有多组不同重复跨度的实例中存在着理解偏差等问题。为了解决上述问题,该文利用不同层级的语义提出了一种面向小样本抽取式问答任务的多标签语义校准方法。采用包含全局语义信息的头标签和基线模型中的特殊字符构成多标签进行语义融合,并利用语义融合门来控制全局信息流的引入,将全局语义信息融合到特殊字符的语义信息中。然后,利用语义筛选门对新融入的全局语义信息和该特殊字符的原有语义信息进行保留与更替,实现对标签偏差语义的校准。在8个小样本抽取式问答数据集中的56组实验结果表明:该方法在评价指标F1值上均明显优于基线模型,证明了所提方法的有效性和先进性。 展开更多

关键词 小样本抽取式问答 跨度抽取式问答 多标签语义融合 双门控机制 机器阅读理解

在线阅读 下载PDF 职称材料

融合限定关系和交互信息的实体关系联合抽取模型

17

作者 唐瑞雪 秦永彬 陈艳平 《中文信息学报》 CSCD 北大核心 2024年第10期106-116,共11页

实体关系抽取作为信息抽取领域的核心任务,旨在从非结构化文本中自动抽取所有的关系三元组。现有研究较难处理句子中关系重叠的情况,存在识别冗余和语义依赖不足的问题。鉴于此,该文提出一种融合限定关系和交互信息的实体关系联合抽取... 实体关系抽取作为信息抽取领域的核心任务,旨在从非结构化文本中自动抽取所有的关系三元组。现有研究较难处理句子中关系重叠的情况,存在识别冗余和语义依赖不足的问题。鉴于此,该文提出一种融合限定关系和交互信息的实体关系联合抽取模型。该模型首先对句子进行关系预测,构成限定关系集。其次,利用限定关系分别地预测可能存在关系的头实体和尾实体,解决关系重叠问题,同时缓解冗余识别。为了加强句子中实体与关系的交互,利用注意力机制强化句子中关系有关信息,通过双仿射和卷积操作来构建评分矩阵。最后,通过评分矩阵对候选三元组进行校正,确定最终的关系三元组。实验结果表明,该模型在NYT和WebNLG数据集上F1值分别达到92.0%和88.7%,相比于所对比的基线模型F1值分别提高了2.8%和1.0%,验证了模型的有效性。 展开更多

关键词 实体关系抽取 联合抽取 重叠关系 限定关系 交互信息

在线阅读 下载PDF 职称材料

基于多尺度混合注意力卷积神经网络的关系抽取模型 被引量：5

18

作者 唐媛 陈艳平 +2 位作者 扈应 黄瑞章 秦永彬 《计算机应用》 CSCD 北大核心 2024年第7期2011-2017,共7页

针对基于卷积神经网络(CNN)的关系抽取获取句子语义信息时缺少不同尺度语义特征信息的获取以及对关键信息的关注的问题,提出基于多尺度混合注意力CNN的关系抽取模型。首先,将关系抽取建模为二维化表示的标签预测;其次,通过多尺度的特征... 针对基于卷积神经网络(CNN)的关系抽取获取句子语义信息时缺少不同尺度语义特征信息的获取以及对关键信息的关注的问题,提出基于多尺度混合注意力CNN的关系抽取模型。首先,将关系抽取建模为二维化表示的标签预测;其次,通过多尺度的特征信息提取与融合,获得更细粒度的多尺度空间信息;然后,通过注意力与卷积的结合自适应地细化特征图,使模型关注重要的上下文信息;最后,使用两个预测器共同预测实体对之间的关系标签。实验结果表明,多尺度混合卷积注意力模型能够获取多尺度语义特征信息,而通道注意力和空间注意力通过权重捕捉通道和空间的关键信息,以此来提升关系抽取的性能。所提模型在数据集SemEval(SemEval-2010 task 8)、TACRED(TAC Relation Extraction Dataset)、Re-TACRED(Revised-TACRED)和SciERC(Entities,Relations,and Coreference for Scientific knowledge graph construction)上的F1值分别达到90.32%、70.74%、85.71%和89.66%。 展开更多

关键词 关系抽取 二维化表示 通道注意力 空间注意力 多尺度语义特征

在线阅读 下载PDF 职称材料

一种面向关系抽取的表填充依赖特征学习方法 被引量：2

19

作者 唐媛 陈艳平 +2 位作者 扈应 黄瑞章 秦永彬 《计算机工程与应用》 CSCD 北大核心 2024年第13期143-151,共9页

基于表填充的关系抽取方法利用深度神经网络将句子映射到二维抽象表示,忽略了句子中不同跨度之间的语义结构,很难获取到句子中的长距离语义依赖。针对表填充方法的这一不足之处,提出了一个结合句法依存树的表填充关系抽取模型。该模型... 基于表填充的关系抽取方法利用深度神经网络将句子映射到二维抽象表示,忽略了句子中不同跨度之间的语义结构,很难获取到句子中的长距离语义依赖。针对表填充方法的这一不足之处,提出了一个结合句法依存树的表填充关系抽取模型。该模型通过双仿射将句子映射到二维抽象表示。利用句子的句法依存树初始化语义依赖邻接矩阵,利用邻接矩阵学习二维表示中单词与单词之间的句法依赖特征。使用门控循环单元提取特征对句子的二维表示进行更新,从而在句子二维抽象表示中获取跨度之间的语义依赖关系和句子的结构特征。实验结果表明提出的模型可以有效获取句子中的长距离语义依赖特征,通过学习跨度的语义依赖信息和句子的语法结构特征来提升关系抽取的性能。 展开更多

关键词 关系抽取 表填充 句法依存树 神经网络

在线阅读 下载PDF 职称材料

基于主动学习的深度半监督聚类模型 被引量：2

20

作者 付艳艳 黄瑞章 +3 位作者 薛菁菁 任丽娜 陈艳平 林川 《计算机应用研究》 CSCD 北大核心 2024年第10期2955-2961,共7页

深度半监督聚类旨在利用少量的监督信息达到更好的聚类效果。然而,由于标注成本昂贵,监督信息的数量往往是有限的。因此,在监督信息有限的情况下,如何选择对聚类最有价值的监督信息变得至关重要。针对以上问题,提出了基于主动学习的深... 深度半监督聚类旨在利用少量的监督信息达到更好的聚类效果。然而,由于标注成本昂贵,监督信息的数量往往是有限的。因此,在监督信息有限的情况下,如何选择对聚类最有价值的监督信息变得至关重要。针对以上问题,提出了基于主动学习的深度半监督聚类模型(DASCM)。该模型设计了一种主动学习方法,能够挑选出蕴涵丰富信息的边缘文本,并进一步生成蕴涵边缘文本的高价值监督信息。该模型利用这些监督信息指导聚类,从而提升聚类性能。在5个真实文本数据集上的实验表明,DASCM的聚类性能有显著提升。这一结果验证了利用主动学习方法生成的涵盖边缘文本的监督信息对于提升聚类效果是有效的。 展开更多

关键词 深度半监督聚类 主动学习 边缘文本

在线阅读 下载PDF 职称材料