-
题名基于混合注意力机制的中文机器阅读理解
被引量：5
- 1
-
-
作者
刘高军
李亚欣
段建勇
-
机构
北方工业大学信息学院
北方工业大学cnonix国家标准应用与推广实验室
-
出处
《计算机工程》
CAS
CSCD
北大核心
2022年第10期67-72,80,共7页
-
基金
国家自然科学基金(61972003,61672040)。
-
文摘
预训练语言模型在机器阅读理解领域具有较好表现,但相比于英文机器阅读理解,基于预训练语言模型的阅读理解模型在处理中文文本时表现较差,只能学习文本的浅层语义匹配信息。为了提高模型对中文文本的理解能力,提出一种基于混合注意力机制的阅读理解模型。该模型在编码层使用预训练模型得到序列表示,并经过BiLSTM处理进一步加深上下文交互,再通过由两种变体自注意力组成的混合注意力层处理,旨在学习深层语义表示,以加深对文本语义信息的理解,而融合层结合多重融合机制获取多层次的表示,使得输出的序列携带更加丰富的信息,最终使用双层BiLSTM处理输入输出层得到答案位置。在CMRC2018数据集上的实验结果表明,与复现的基线模型相比,该模型的EM值和F1值分别提升了2.05和0.465个百分点,能够学习到文本的深层语义信息,有效改进预训练语言模型。
-
关键词
中文机器阅读理解
注意力机制
融合机制
预训练模型
RoBERTa模型
-
Keywords
Chinese machine reading comprehension
attention mechanism
fusion mechanism
pre-training model
RoBERTa model
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名基于问题分类和深度模型的答案选择算法
被引量：1
- 2
-
-
作者
何丽
张家铭
徐丽闪
王昊
李欣
-
机构
北方工业大学信息学院
北方工业大学cnonix国家标准应用与推广实验室
-
出处
《计算机工程与设计》
北大核心
2023年第5期1412-1418,共7页
-
基金
国家自然科学基金项目(61972003、61672040)。
-
文摘
为解决问答系统中问答句之间语义信息交互较少的问题,增强模型对问题分类信息的应用,提出一种将问题分类和预训练模型BERT相结合的答案选择模型。通过问题分类获取问句的期望答案类型,根据问句的期望答案类型遮蔽候选答案句中无关的单词,利用BERT模型更深层次的融合问题句和答案句中句法和语义特征,计算问答对的语义相似度。实验结果表明,采用融合问题分类信息的答案选择模型,在TrecQA Clean和WikiQA数据集上的MAP和MRR指标都有明显提升。
-
关键词
问答系统
问题分类
深度模型
答案选择
期望答案类型
语义交互
BERT模型
-
Keywords
question answering system
question classification
deep model
answer selection
expected answer type
semantic interaction
BERT model
-
分类号
TP391.1
[自动化与计算机技术—计算机应用技术]
-
-
题名基于特征映射和联合学习的可解释新闻推荐
被引量：1
- 3
-
-
作者
何丽
王京豪
段建勇
-
机构
北方工业大学信息学院
北方工业大学cnonix国家标准应用与推广实验室
北京城市治理研究基地
-
出处
《计算机工程与设计》
北大核心
2023年第9期2851-2858,共8页
-
基金
国家自然科学基金项目(61972003,61672040)。
-
文摘
为解决现有个性化推荐系统大多是黑箱模式,无法提供可靠的推荐理由这一问题,对可解释性推荐进行深入研究。为在消除元数据需求的情况下,实现推荐的可解释性和性能之间权衡,提出一种特征映射方法,将不可解释的一般特征映射到可解释的方面特征,该方面特征可用于解释生成;同时使用一个联合学习模型平衡准确预测和生成解释这两个任务,实现推荐中令人满意的准确性和可解释性。通过在真实数据集上的实验,验证了该方法在推荐准确度和解释语句质量两方面都有所提升。
-
关键词
可解释推荐
联合学习
注意力机制
神经网络
新闻推荐
特征映射
自然语言处理
-
Keywords
explainable recommendation
joint learning
attention mechanism
neural network
news recommendation
feature mapping
natural language processing
-
分类号
TP391.1
[自动化与计算机技术—计算机应用技术]
-
-
题名动态编码驱动型会话问答方法研究
- 4
-
-
作者
段建勇
周帅
何丽
王昊
-
机构
北方工业大学信息学院
北方工业大学cnonix国家标准应用与推广实验室
富媒体数字出版内容组织与知识服务重点实验室
-
出处
《小型微型计算机系统》
CSCD
北大核心
2023年第7期1412-1418,共7页
-
基金
国家自然科学基金项目(61972003,61672040)资助
富媒体数字出版内容组织与知识服务重点实验室开放基金项目(ZD2021-11/05)资助。
-
文摘
会话问答即多轮问答任务,是对话式人工智能的重要组成部分.如何对复杂的上下文信息进行高效特征提取,一直是会话问答任务的重大难题.现有的方法通常会对其经过多层LSTM处理,很容易产生冗余信息造成上下文偏差.为此,提出动态编码网络的方法,该方法基于Encoder-Decoder框架,但在编码过程融入了动态的方式,以更好地理解段落中的内容和会话历史信息.在动态编码层,编码机制迭代地读取对话历史信息,并且每次迭代的输出都将通过决策器P_(d)与之前的编码表示动态结合,舍弃不相关的信息,生成新的编码表示,随后被送往下一迭代程序中.最终,使模型预测答案的质量更高,整个对话更加流畅连贯.在最新发布的CoQA数据集的实验结果与各种基准和模型变体相比,证明了提出的方法是有效的.
-
关键词
机器学习
自然语言处理
会话问答
动态编码
-
Keywords
machine learning
natural language processing
conversational question answering
dynamic coding
-
分类号
TP389
[自动化与计算机技术—计算机系统结构]
-
-
题名丰富特征提取的句子语义等价识别研究
- 5
-
-
作者
刘高军
寇婕
段建勇
霍卫涛
王昊
-
机构
北方工业大学信息学院
北方工业大学cnonix国家标准应用与推广实验室
新东方教育科技集团AI研究院
-
出处
《小型微型计算机系统》
CSCD
北大核心
2021年第10期2017-2022,共6页
-
基金
国家自然科学基金项目(61972003,61672040)资助。
-
文摘
句子语义等价识别任务(SSEI)在问答任务中扮演着至关重要的角色.目前,基于中文的语义等价任务在没有给定场景的前提下直接判断两个问句的语义,仍存在相同的意思也会被错误理解的问题.因此,本文提出了一种丰富特征信息提取的RFEM (richer feature extraction model)模型.首先,在编码层中,使用CNN和LSTM分别提取局部特征、存储历史信息特征,融合后的编码信息经过对齐层中的变体多头注意力机制,更大化地保留了原始信息的完整性;其次,在对齐层中,对融入了残差特征的编码进行优化,避免网络加深引起的梯度消失问题,改进后的模型对于特征提取具备更好的效果.该实验结果在公开中文数据集BQ上达到了82.71%,比目前最好的结果高0.86%,在通过置信区间计算清洗后的BQ数据集上达到了93.2%,比基线结果高5.1%.
-
关键词
句子语义等价识别
特征提取
句子匹配
变体多头注意力机制
-
Keywords
sentence semantic equivalence identification
feature extraction
sentence matching
variant multi-head attention
-
分类号
TP389
[自动化与计算机技术—计算机系统结构]
-
