面向小样本命名实体识别的实体语义优先提示学习方法 被引量：1

1

作者 何丽 曾骁勇 +2 位作者 刘杰 段建勇 王昊 《计算机应用研究》 CSCD 北大核心 2024年第12期3622-3627,共6页

近些年来,提示学习在小样本命名实体识别任务上得到了广泛应用。然而,命名实体识别仍然是一个令牌级的标记任务,在通过提示模板调动预训练知识时,很容易忽略新实体类型的语义信息。为此,提出了一个语义优先的提示学习方法。具体来说,首... 近些年来,提示学习在小样本命名实体识别任务上得到了广泛应用。然而,命名实体识别仍然是一个令牌级的标记任务,在通过提示模板调动预训练知识时,很容易忽略新实体类型的语义信息。为此,提出了一个语义优先的提示学习方法。具体来说,首先检测少量示例中实体类型蕴涵的语义信息,然后将实体语义信息和询问实体位置的提示模板输入模型中,利用模型中的非自回归解码器并行预测来提取实体;此外,为了确保语义信息与实体类型的关联性,使用对比学习的方法来训练一个分类器,以去除与实体类型无关的语义信息;最后在两个常用的公共基准数据集上评估了所提方法,实验结果证明了该方法的有效性。 展开更多

关键词 小样本命名实体识别 提示学习 语义信息 对比学习

在线阅读 下载PDF 职称材料

基于双仿射注意力的迭代式开放域信息抽取

2

作者 李欣 邵靖淇 +2 位作者 王昊 何丽 段建勇 《计算机应用研究》 CSCD 北大核心 2024年第7期2046-2051,共6页

当前的开放域信息抽取(OpenIE)方法无法同时兼顾抽取结果的紧凑性和模型的性能,导致其抽取结果不能更好地被应用到下游任务中。为此,提出一个基于双仿射注意力进行表格填充及迭代抽取的模型。首先,该模型通过双仿射注意力学习单词之间... 当前的开放域信息抽取(OpenIE)方法无法同时兼顾抽取结果的紧凑性和模型的性能,导致其抽取结果不能更好地被应用到下游任务中。为此,提出一个基于双仿射注意力进行表格填充及迭代抽取的模型。首先,该模型通过双仿射注意力学习单词之间的方向信息、捕获单词对之间的相互作用,随后对二维表格进行填充,使句子中的成分相互共享并识别紧凑成分;其次,使用多头注意力机制将谓词和参数的表示应用于上下文的嵌入中,使谓词和参数的提取相互依赖,更好地链接关系成分和参数成分;最后,对于含有多个关系成分的句子,使用迭代抽取的方式在无须重新编码的情况下捕获每次提取之间固有的依赖关系。在公开数据集CaRB和Wire57上的实验表明,该方法比基线方法实现了更高的精度和召回率,F_(1)值提升了至少1.4%和3.2%,同时产生了更短、语义更丰富的提取。 展开更多

关键词 开放域信息抽取 双仿射注意力 紧凑性 多头注意力 迭代抽取

在线阅读 下载PDF 职称材料

基于句间信息的图注意力卷积网络的文档级关系抽取 被引量：3

3

作者 段建勇 杨潇 +2 位作者 王昊 何丽 李欣 《计算机科学》 CSCD 北大核心 2023年第S01期181-186,共6页

为解决现有模型对文档的结构信息挖掘不足的问题,提出一种基于句间信息的图注意力卷积网络模型。该模型改进了一种文档级编码器,该编码器使用了一种新的注意力机制--句间注意力机制,使得句子的最终表示更加关注前一个句子和之前文档中... 为解决现有模型对文档的结构信息挖掘不足的问题,提出一种基于句间信息的图注意力卷积网络模型。该模型改进了一种文档级编码器,该编码器使用了一种新的注意力机制--句间注意力机制,使得句子的最终表示更加关注前一个句子和之前文档中的重要信息,更有利于挖掘文档的结构信息。实验结果表明,所提模型在DocRED数据集上的F 1评价指标达到56.3%,性能优于基线模型。在融入句间注意力机制时,由于模型需要对每一句话分别进行句间注意力操作,因此训练模型时需要消耗更多的内存和时间。基于句间信息的图注意力卷积网络模型可以有效地对文档中的相关信息进行聚合,并且增强对文档的结构信息的挖掘能力,从而使得模型在文档级关系抽取任务中效果得到提升。 展开更多

关键词 文档级关系抽取 注意力机制 文档级编码器 图卷积网络

在线阅读 下载PDF 职称材料

基于位置嵌入和多级预测的中文嵌套命名实体识别 被引量：2

4

作者 段建勇 朱奕霏 +2 位作者 王昊 何丽 李欣 《计算机工程》 CAS CSCD 北大核心 2023年第12期71-77,共7页

针对传统中文嵌套命名实体识别模型通常存在实体边界难以准确定位及中文字符与词汇之间边界模糊的问题,构建一种基于位置嵌入和多级结果边界预测的嵌套命名实体识别模型。在嵌入层,将嵌套实体位置信息与文本位置信息同时编码后生成绝对... 针对传统中文嵌套命名实体识别模型通常存在实体边界难以准确定位及中文字符与词汇之间边界模糊的问题,构建一种基于位置嵌入和多级结果边界预测的嵌套命名实体识别模型。在嵌入层,将嵌套实体位置信息与文本位置信息同时编码后生成绝对位置序列,通过关注中文文本中自带的位置信息,进一步挖掘嵌套实体与字符之间的关系,并且增强了嵌套实体与原始文本之间的联系。在编码层,利用排除最优路径的隐藏矩阵实现嵌套实体的初步识别。在解码层,计算实体边界的偏移量,重新确定实体边界,从而提高中文嵌套实体识别准确率。实验结果表明,在医疗和日常两个领域的数据集上,该模型的准确率、召回率、F1值相比于基线模型中的最优值分别提高了0.34、1.06、0.80和11.90、0.78、6.23个百分点,具有较好的识别性能。 展开更多

关键词 嵌套命名实体识别 位置嵌入 边界预测单元 条件随机场 多级预测

在线阅读 下载PDF 职称材料

基于混合注意力机制的中文机器阅读理解 被引量：5

5

作者 刘高军 李亚欣 段建勇 《计算机工程》 CAS CSCD 北大核心 2022年第10期67-72,80,共7页

预训练语言模型在机器阅读理解领域具有较好表现,但相比于英文机器阅读理解,基于预训练语言模型的阅读理解模型在处理中文文本时表现较差,只能学习文本的浅层语义匹配信息。为了提高模型对中文文本的理解能力,提出一种基于混合注意力机... 预训练语言模型在机器阅读理解领域具有较好表现,但相比于英文机器阅读理解,基于预训练语言模型的阅读理解模型在处理中文文本时表现较差,只能学习文本的浅层语义匹配信息。为了提高模型对中文文本的理解能力,提出一种基于混合注意力机制的阅读理解模型。该模型在编码层使用预训练模型得到序列表示,并经过BiLSTM处理进一步加深上下文交互,再通过由两种变体自注意力组成的混合注意力层处理,旨在学习深层语义表示,以加深对文本语义信息的理解,而融合层结合多重融合机制获取多层次的表示,使得输出的序列携带更加丰富的信息,最终使用双层BiLSTM处理输入输出层得到答案位置。在CMRC2018数据集上的实验结果表明,与复现的基线模型相比,该模型的EM值和F1值分别提升了2.05和0.465个百分点,能够学习到文本的深层语义信息,有效改进预训练语言模型。 展开更多

关键词 中文机器阅读理解 注意力机制 融合机制 预训练模型 RoBERTa模型

在线阅读 下载PDF 职称材料

基于问题分类和深度模型的答案选择算法 被引量：1

6

作者 何丽 张家铭 +2 位作者 徐丽闪 王昊 李欣 《计算机工程与设计》 北大核心 2023年第5期1412-1418,共7页

为解决问答系统中问答句之间语义信息交互较少的问题,增强模型对问题分类信息的应用,提出一种将问题分类和预训练模型BERT相结合的答案选择模型。通过问题分类获取问句的期望答案类型,根据问句的期望答案类型遮蔽候选答案句中无关的单词... 为解决问答系统中问答句之间语义信息交互较少的问题,增强模型对问题分类信息的应用,提出一种将问题分类和预训练模型BERT相结合的答案选择模型。通过问题分类获取问句的期望答案类型,根据问句的期望答案类型遮蔽候选答案句中无关的单词,利用BERT模型更深层次的融合问题句和答案句中句法和语义特征,计算问答对的语义相似度。实验结果表明,采用融合问题分类信息的答案选择模型,在TrecQA Clean和WikiQA数据集上的MAP和MRR指标都有明显提升。 展开更多

关键词 问答系统 问题分类 深度模型 答案选择 期望答案类型 语义交互 BERT模型

在线阅读 下载PDF 职称材料

知识驱动的事件双曲嵌入时序关系抽取方法研究 被引量：1

7

作者 段建勇 戴诗伟 +2 位作者 王昊 何丽 李欣 《北京大学学报（自然科学版）》 EI CAS CSCD 北大核心 2023年第1期76-82,共7页

针对事件时间关系不对称的问题,采用将事件表示映射到双曲空间的方法,进行事件时序关系抽取。通过简单的运算,用预训练的词向量与外部知识构建事件的词嵌入表示。在公开发布的数据集上的实验结果表明,模型的F1值比基线模型普遍高2%,能... 针对事件时间关系不对称的问题,采用将事件表示映射到双曲空间的方法,进行事件时序关系抽取。通过简单的运算,用预训练的词向量与外部知识构建事件的词嵌入表示。在公开发布的数据集上的实验结果表明,模型的F1值比基线模型普遍高2%,能够提升事件时序关系抽取的效果。 展开更多

关键词 事件时序 关系抽取 双曲空间词嵌入

在线阅读 下载PDF 职称材料

基于特征映射和联合学习的可解释新闻推荐 被引量：1

8

作者 何丽 王京豪 段建勇 《计算机工程与设计》 北大核心 2023年第9期2851-2858,共8页

为解决现有个性化推荐系统大多是黑箱模式,无法提供可靠的推荐理由这一问题,对可解释性推荐进行深入研究。为在消除元数据需求的情况下,实现推荐的可解释性和性能之间权衡,提出一种特征映射方法,将不可解释的一般特征映射到可解释的方... 为解决现有个性化推荐系统大多是黑箱模式,无法提供可靠的推荐理由这一问题,对可解释性推荐进行深入研究。为在消除元数据需求的情况下,实现推荐的可解释性和性能之间权衡,提出一种特征映射方法,将不可解释的一般特征映射到可解释的方面特征,该方面特征可用于解释生成;同时使用一个联合学习模型平衡准确预测和生成解释这两个任务,实现推荐中令人满意的准确性和可解释性。通过在真实数据集上的实验,验证了该方法在推荐准确度和解释语句质量两方面都有所提升。 展开更多

关键词 可解释推荐 联合学习 注意力机制 神经网络 新闻推荐 特征映射 自然语言处理

在线阅读 下载PDF 职称材料

利用知识强化语言模型的口语理解方法

9

作者 刘高军 王岳 +2 位作者 段建勇 何丽 王昊 《计算机工程》 CAS CSCD 北大核心 2023年第3期73-79,共7页

基于预训练的语言模型在口语理解(SLU)任务中具有优异的性能表现。然而,与人类理解语言的方式相比,单纯的语言模型只能建立文本层级的上下文关联,缺少丰富的外部知识来支持其完成更为复杂的推理。提出一种针对SLU任务的基于Transformer... 基于预训练的语言模型在口语理解(SLU)任务中具有优异的性能表现。然而,与人类理解语言的方式相比,单纯的语言模型只能建立文本层级的上下文关联,缺少丰富的外部知识来支持其完成更为复杂的推理。提出一种针对SLU任务的基于Transformer的双向编码器表示(BERT)的联合模型。引入单词级别的意图特征并使用注意力机制为BERT融合外部知识。此外,由于SLU包含意图检测和槽填充2个相互关联的子任务,模型通过联合训练捕捉2个子任务间的关联性,充分运用这种关联性增强外部知识对于SLU任务的性能提升效果,并将外部知识转化为可用于特定子任务的特征信息。在ATIS和Snips 2个公开数据集上的实验结果表明,该模型句子级别的语义准确率分别为89.1%和93.3%,与BERT模型相比,分别提升了0.9和0.4个百分点,能够有效利用外部知识提升自身性能,在SLU任务中拥有比BERT更为优秀的性能表现。 展开更多

关键词 口语理解 外部知识 语言模型 意图检测 槽填充 联合训练

在线阅读 下载PDF 职称材料

动态编码驱动型会话问答方法研究

10

作者 段建勇 周帅 +1 位作者 何丽 王昊 《小型微型计算机系统》 CSCD 北大核心 2023年第7期1412-1418,共7页

会话问答即多轮问答任务,是对话式人工智能的重要组成部分.如何对复杂的上下文信息进行高效特征提取,一直是会话问答任务的重大难题.现有的方法通常会对其经过多层LSTM处理,很容易产生冗余信息造成上下文偏差.为此,提出动态编码网络的方... 会话问答即多轮问答任务,是对话式人工智能的重要组成部分.如何对复杂的上下文信息进行高效特征提取,一直是会话问答任务的重大难题.现有的方法通常会对其经过多层LSTM处理,很容易产生冗余信息造成上下文偏差.为此,提出动态编码网络的方法,该方法基于Encoder-Decoder框架,但在编码过程融入了动态的方式,以更好地理解段落中的内容和会话历史信息.在动态编码层,编码机制迭代地读取对话历史信息,并且每次迭代的输出都将通过决策器P_(d)与之前的编码表示动态结合,舍弃不相关的信息,生成新的编码表示,随后被送往下一迭代程序中.最终,使模型预测答案的质量更高,整个对话更加流畅连贯.在最新发布的CoQA数据集的实验结果与各种基准和模型变体相比,证明了提出的方法是有效的. 展开更多

关键词 机器学习 自然语言处理 会话问答 动态编码

在线阅读 下载PDF 职称材料

丰富特征提取的句子语义等价识别研究

11

作者 刘高军 寇婕 +2 位作者 段建勇 霍卫涛 王昊 《小型微型计算机系统》 CSCD 北大核心 2021年第10期2017-2022,共6页

句子语义等价识别任务(SSEI)在问答任务中扮演着至关重要的角色.目前,基于中文的语义等价任务在没有给定场景的前提下直接判断两个问句的语义,仍存在相同的意思也会被错误理解的问题.因此,本文提出了一种丰富特征信息提取的RFEM (richer... 句子语义等价识别任务(SSEI)在问答任务中扮演着至关重要的角色.目前,基于中文的语义等价任务在没有给定场景的前提下直接判断两个问句的语义,仍存在相同的意思也会被错误理解的问题.因此,本文提出了一种丰富特征信息提取的RFEM (richer feature extraction model)模型.首先,在编码层中,使用CNN和LSTM分别提取局部特征、存储历史信息特征,融合后的编码信息经过对齐层中的变体多头注意力机制,更大化地保留了原始信息的完整性;其次,在对齐层中,对融入了残差特征的编码进行优化,避免网络加深引起的梯度消失问题,改进后的模型对于特征提取具备更好的效果.该实验结果在公开中文数据集BQ上达到了82.71%,比目前最好的结果高0.86%,在通过置信区间计算清洗后的BQ数据集上达到了93.2%,比基线结果高5.1%. 展开更多

关键词 句子语义等价识别 特征提取 句子匹配 变体多头注意力机制

在线阅读 下载PDF 职称材料