基于注意力的蒙古语说话人特征提取方法

1

作者 朱方圆 马志强 +2 位作者 刘志强 宝财吉拉呼 王洪彬 《中文信息学报》 北大核心 2025年第3期66-75,共10页

说话人特征提取模型提取到的说话人特征之间区分性低,使得蒙古语声学模型无法学习到区分性信息,导致模型无法适应不同说话人。该文提出一种基于注意力机制的说话人自适应方法,该方法通过引入神经图灵机进行自适应机制,增加记忆模块存放... 说话人特征提取模型提取到的说话人特征之间区分性低,使得蒙古语声学模型无法学习到区分性信息,导致模型无法适应不同说话人。该文提出一种基于注意力机制的说话人自适应方法,该方法通过引入神经图灵机进行自适应机制,增加记忆模块存放说话人特征,采用注意力机制计算记忆模块中说话人特征与当前语音说话人特征的相似权重矩阵,通过权重矩阵重新组合成说话人特征s-vector,进而提高说话人特征之间的区分性。在IMUT-MCT数据集上,进行说话人特征提取方法的消融实验、对比实验和模型自适应实验。实验结果表明,对比不同说话人特征s-vector、i-vector与d-vector,s-vector比其他两种方法的SER和WER分别降低4.96%和1.08%;在不同的蒙古语声学模型上进行比较,该文提出的方法相对于基线均有性能提升。 展开更多

关键词 说话人特征提取 注意力机制 说话人自适应 语音识别

在线阅读 下载PDF 职称材料

面向Transformer模型的蒙古语语音识别词特征编码方法

2

作者 张晓旭 马志强 +1 位作者 刘志强 宝财吉拉呼 《中文信息学报》 北大核心 2025年第8期90-98,共9页

针对Transformer模型在蒙古语语音识别任务中无法学习到带有控制符的蒙古语词和语音之间的对应关系,造成模型对蒙古语的不适应问题。为解决这个问题,该文提出一种面向Transformer模型的蒙古语词编码方法,使用蒙古语字母特征与词特征进... 针对Transformer模型在蒙古语语音识别任务中无法学习到带有控制符的蒙古语词和语音之间的对应关系,造成模型对蒙古语的不适应问题。为解决这个问题,该文提出一种面向Transformer模型的蒙古语词编码方法,使用蒙古语字母特征与词特征进行混合编码,通过结合蒙古语字母信息使Transformer模型能够区分带有控制符的蒙古语词,学习到蒙古语词与语音之间的对应关系。在IMUT-MC数据集上,构建Transformer模型并进行了词特征编码方法的消融实验和对比实验。消融实验结果表明,词特征编码方法在HWER、WER、SER上分别降低了23.4%、6.9%和2.6%;对比实验结果表明,词特征编码方法领先于所有方法,HWER和WER分别达到11.8%和19.8%。 展开更多

关键词 蒙古语语音识别 TRANSFORMER 注意力机制 词编码

在线阅读 下载PDF 职称材料

面向情感对话的情绪生成研究综述

3

作者 刘佳 马志强 +3 位作者 吕凯 郭思源 周钰童 许璧麒 《计算机工程与应用》 北大核心 2025年第5期55-75,共21页

情感对话是赋予对话机器人情感处理能力的关键,旨在使对话机器人具备情绪识别、情绪理解和情绪生成的能力。为了弥补情感对话技术中情绪生成能力的缺失,情绪生成任务被提出且已经发展为人工智能情绪表达的核心任务,其旨在生成符合语境... 情感对话是赋予对话机器人情感处理能力的关键,旨在使对话机器人具备情绪识别、情绪理解和情绪生成的能力。为了弥补情感对话技术中情绪生成能力的缺失,情绪生成任务被提出且已经发展为人工智能情绪表达的核心任务,其旨在生成符合语境的人工情绪类别,并为相关下游任务提供情绪指导。2018年至今,情感对话领域的研究人员致力于使对话机器人生成情绪可控、同理心强且能够帮助用户改善情绪痛苦的情绪响应,所有努力都表明了对情绪生成任务的强烈需求。给出了情绪生成任务定义与基本框架,并简要介绍了该任务在情感对话领域内下游任务的定义;总结了情绪生成任务及其下游任务的研究现状,并介绍了该任务常用数据集与评价指标。最后,分析了情绪生成任务的优势、面临的挑战以及未来发展方向。 展开更多

关键词 情感生成 人工情感 情感对话 情感计算

在线阅读 下载PDF 职称材料

基于端到端的蒙古语异形同音词声学建模方法 被引量：1

4

作者 陈艳 李图雅 +2 位作者 马志强 谢秀兰 王洪彬 《中文信息学报》 CSCD 北大核心 2022年第3期27-35,共9页

蒙古语声学模型的训练过程是模型学习发音数据与标注数据之间关系的一个过程。针对以音素为建模粒子的蒙古语声学模型建模,由于蒙古语词的发音与语义存在一对多映射现象,会造成解码出的蒙古语文本错误,进而导致蒙古语语音识别系统识别... 蒙古语声学模型的训练过程是模型学习发音数据与标注数据之间关系的一个过程。针对以音素为建模粒子的蒙古语声学模型建模,由于蒙古语词的发音与语义存在一对多映射现象,会造成解码出的蒙古语文本错误,进而导致蒙古语语音识别系统识别率降低的问题。对此,该文以端到端模型为基础,以蒙古语音素、字母为蒙古语声学模型建模粒子,设计了基于BLSTM-CTC的蒙古语声学模型,并给出了动量训练算法。实验结果表明,基于蒙古语字母的BLSTM-CTC蒙古语声学模型可以有效降低蒙古语语音识别系统中异形同音词的词错率。 展开更多

关键词 异形同音词 建模粒子 端到端 蒙古语声学模型 语音识别

在线阅读 下载PDF 职称材料

基于深度学习的对话情绪生成研究综述 被引量：4

5

作者 周钰童 马志强 +3 位作者 许璧麒 贾文超 吕凯 刘佳 《计算机工程与应用》 CSCD 北大核心 2024年第7期13-25,共13页

情绪生成是人工情感计算研究中的子任务,在对话系统中情绪生成任务旨在生成待回复话语中的情绪类别。对话情绪生成可以推动对话情绪理解和对话表达研究,同时在智能闲聊机器人、情绪安慰、推荐系统和人机情感交互等诸多智能化领域具有重... 情绪生成是人工情感计算研究中的子任务,在对话系统中情绪生成任务旨在生成待回复话语中的情绪类别。对话情绪生成可以推动对话情绪理解和对话表达研究,同时在智能闲聊机器人、情绪安慰、推荐系统和人机情感交互等诸多智能化领域具有重要的理论意义和实际应用价值。得益于深度神经网络在自然语言处理领域的优异表现,基于深度学习的对话系统情绪生成受到越来越多研究人员的关注。总结目前基于深度学习的对话情绪生成相关工作,现阶段利用深度学习的对话系统情绪生成相关研究主要包含三方面内容:情绪感知、情绪预测和情绪决策。简要介绍了一些常用的情绪对话数据集,最后对该任务当前问题进行了归纳概况并展望未来发展趋势。 展开更多

关键词 对话情绪生成 人工情感 深度学习

在线阅读 下载PDF 职称材料

知识驱动的对话生成模型研究综述 被引量：3

6

作者 许璧麒 马志强 +3 位作者 周钰童 贾文超 刘佳 吕凯 《计算机科学与探索》 CSCD 北大核心 2024年第1期58-74,共17页

知识驱动的对话生成模型旨在利用不同形式的知识来强化对话生成模型,使得对话生成模型不仅能从对话数据中学习语义交互,而且还能深入理解用户输入、背景知识和对话上下文,生成更合理、更具多样性、更富含信息量和拟人的回复,进而推动对... 知识驱动的对话生成模型旨在利用不同形式的知识来强化对话生成模型,使得对话生成模型不仅能从对话数据中学习语义交互,而且还能深入理解用户输入、背景知识和对话上下文,生成更合理、更具多样性、更富含信息量和拟人的回复,进而推动对话系统的发展。目前相关工作仍处于初期探索阶段,并且很少有对现有成果的全面梳理和系统总结。对知识驱动的对话生成模型研究展开综述,首先,针对现有的研究成果,梳理并介绍了当前知识驱动的对话生成任务和主要遇到的问题,并且给出详细的任务定义和问题定义;其次,整理并介绍了知识驱动的对话生成模型建模所需的数据集;然后,对目前知识驱动的对话生成研究过程中知识获取、知识表示、知识选择和知识融入相关研究中每个模型的改进、研究现状、模型涉及的评价指标和模型的性能进行重点介绍;最后,对知识驱动的对话生成模型研究未来的发展方向进行展望。 展开更多

关键词 对话生成模型 对话系统 外部知识 知识驱动的对话生成

在线阅读 下载PDF 职称材料

基于多样性情绪的积极导向自然过渡决策模型

7

作者 马志强 吕凯 +4 位作者 周钰童 刘佳 叶浩然 刘义兴 王奎波 《计算机工程与应用》 北大核心 2025年第17期241-250,共10页

在对话系统中情绪生成任务旨在生成待回复话语中的情绪类别。针对现有情绪生成方法中个性化情绪积极自然过渡机制的缺失,造成情绪状态生成连贯性问题,提出积极导向自然过渡决策模型(positive orientation and natural transition decisi... 在对话系统中情绪生成任务旨在生成待回复话语中的情绪类别。针对现有情绪生成方法中个性化情绪积极自然过渡机制的缺失,造成情绪状态生成连贯性问题,提出积极导向自然过渡决策模型(positive orientation and natural transition decision model,PONTD)用于进行多样化情绪预测后情绪决策,以解决情绪生成连贯性问题。PONTD包含三个单元:一是多样化情绪预测单元,设计多组不同结构和参数的模型,并采用共同注意力融合方法,实现对情绪状态的多样化预测;二是情绪正向引导单元,利用预测的多样性情绪状态,赋予对话人格,引导情绪根据情绪极性进行转化,并利用SetRank模型将情绪进行重排,以实现个性化积极的情绪导向;三是个性化自然过渡单元,通过对多样性情绪状态进行关联感知,根据人格PAD情绪空间映射规则进行情绪矫正,并利用对话历史情绪序列控制时机,实现情绪的自然平滑过渡。实验结果表明,PONTD能有效提升情绪表达的连贯性,提高了对话系统情绪智能。 展开更多

关键词 对话系统 情绪生成 个性化情绪 情绪决策 对话人格

在线阅读 下载PDF 职称材料

语音识别中说话人自适应方法研究综述 被引量：10

8

作者 朱方圆 马志强 +3 位作者 陈艳 张晓旭 王洪彬 宝财吉拉呼 《计算机科学与探索》 CSCD 北大核心 2021年第12期2241-2255,共15页

语音是人机交互方式之一,语音识别技术是人工智能的重要组成部分。近年来神经网络技术在语音识别领域的应用快速发展,已经成为语音识别领域中主流的声学建模技术。然而测试条件中目标说话人语音与训练数据存在差异,导致模型不适配的问... 语音是人机交互方式之一,语音识别技术是人工智能的重要组成部分。近年来神经网络技术在语音识别领域的应用快速发展,已经成为语音识别领域中主流的声学建模技术。然而测试条件中目标说话人语音与训练数据存在差异,导致模型不适配的问题。因此说话人自适应(SA)方法是为了解决说话人差异导致的不匹配问题,研究说话人自适应方法成为语音识别领域的一个热门方向。相比传统语音识别模型中的说话人自适应方法,使用神经网络的语音识别系统中的自适应存在着模型参数庞大,而自适应数据量相对较少等特点,这使得基于神经网络的语音识别系统中的说话人自适应方法成为一个研究难题。首先回顾说话人自适应方法的发展历程和基于神经网络的说话人自适应方法研究遇到的各种问题,其次将说话人自适应方法分为基于特征域和基于模型域的说话人自适应方法并介绍对应原理和改进方法,最后指出说话人自适应方法在语音识别中仍然存在的问题及未来的发展方向。 展开更多

关键词 语音识别 说话人自适应(SA) 神经网络

在线阅读 下载PDF 职称材料

面向端到端的情感对话生成研究综述 被引量：2

9

作者 王春喻 马志强 +3 位作者 杜宝祥 贾文超 王洪彬 宝财吉拉呼 《计算机科学与探索》 CSCD 北大核心 2022年第2期280-295,共16页

人机对话作为人工智能的重要研究内容,受到了学术界和工业界的广泛关注。受到深度学习在自然语言处理成功应用的启发,越来越多的神经网络模型被研究者关注。其中基于端到端的神经网络模型能够从大规模语料中学习到有价值的规律和特征,... 人机对话作为人工智能的重要研究内容,受到了学术界和工业界的广泛关注。受到深度学习在自然语言处理成功应用的启发,越来越多的神经网络模型被研究者关注。其中基于端到端的神经网络模型能够从大规模语料中学习到有价值的规律和特征,生成有意义且多样性的回复,被广泛地应用于情感对话生成研究中。面向基于端到端模型的情感对话生成研究展开综述。首先,针对现有的研究成果,梳理并介绍了当前情感对话生成研究面向的任务和主要解决的问题,并且做出了详细的定义,整理并介绍了情感对话生成模型建模所需的数据集。其次,对端到端的神经网络模型的原理进行了简单的概述,并且分析和总结了情感对话生成研究在每个基础模型中的改进、研究现状、模型涉及的评价指标以及模型的性能。再次,对现阶段涉及到的模型评价方式按照自动评价以及人工评价方式进行了总结。最后,对未来情感对话生成研究的发展方向进行了展望。 展开更多

关键词 人机对话 深度学习 端到端 情感对话生成

在线阅读 下载PDF 职称材料

情感强度回复生成模型 被引量：1

10

作者 马志强 周钰童 +2 位作者 贾文超 许璧麒 王春喻 《计算机科学与探索》 CSCD 北大核心 2024年第5期1339-1347,共9页

情感对话生成模型在回复生成中未考虑情感强度因素,导致生成回复的情感表达存在波动不恰当性,降低用户交互体验。受情绪心理学中情感强度工作的启发,提出一种情感强度回复生成模型(EIRGM)。模型包括情感强度预测单元、语境编码模块和情... 情感对话生成模型在回复生成中未考虑情感强度因素,导致生成回复的情感表达存在波动不恰当性,降低用户交互体验。受情绪心理学中情感强度工作的启发,提出一种情感强度回复生成模型(EIRGM)。模型包括情感强度预测单元、语境编码模块和情感强度回复生成单元,其中情感强度预测单元为回复语句提供情感类别和情感强度,语境编码模块单元为回复语句提供内容基础,情感强度回复生成单元构成用于回复语句中情感和强度的表达。实验以NLPCC2018开放域对话数据集为基础,开展了情感恰当性、情感强度恰当性、内容关联性以及对话持续性等实验。实验结果表明,EIRGM在情感恰当性方面与最优模型相差不大,在情感强度恰当性和对话持续性方面与最优模型相比分别提升4.1个百分点和0.8个百分点,表明了EIRGM模型在提升情感强度表达恰当性同时也提高了用户交互意愿。 展开更多

关键词 情感强度 情感类别 情感对话 回复生成 情感表达

在线阅读 下载PDF 职称材料

多特征嵌入的Seq2Seq风速预测模型 被引量：3

11

作者 杜宝祥 李永利 +2 位作者 马志强 王洪彬 张立 《计算机工程与设计》 北大核心 2021年第7期2061-2068,共8页

针对由于风速变化因素复杂导致的风速预测模型准确率低的问题,提出一种多特征嵌入的Seq2Seq(序列到序列)风速预测模型。以Seq2Seq为基础,将影响风速的多种因素数据进行多特征嵌入编码,实现对未来若干个小时风速的预测。通过准确率、预... 针对由于风速变化因素复杂导致的风速预测模型准确率低的问题,提出一种多特征嵌入的Seq2Seq(序列到序列)风速预测模型。以Seq2Seq为基础,将影响风速的多种因素数据进行多特征嵌入编码,实现对未来若干个小时风速的预测。通过准确率、预测评分和平均绝对误差等指标的实验评价,验证Seq2Seq模型相比当前最优模型达到了更好的预测稳定性,风速多特征嵌入编码方法的加入显著提高了Seq2Seq模型的预测准确性。实验结果验证了该模型的有效性。 展开更多

关键词 风速预测 序列到序列 多特征嵌入 准确率 预测评分 平均绝对误差

在线阅读 下载PDF 职称材料

基于残差网络的风向自记图识别方法 被引量：1

12

作者 陈艳 李永利 +2 位作者 马志强 王洪彬 张立 《计算机工程与设计》 北大核心 2021年第8期2373-2380,共8页

鉴于气象资料风向自记图中存在背景文字干扰和特征所在区域固定等特点,导致卷积神经网络只考虑风向自记图局部近邻特征的问题,使卷积神经网络不能准确识别风向自记图。针对上述存在问题,提出残差网络和自注意力机制相结合的风向自记图... 鉴于气象资料风向自记图中存在背景文字干扰和特征所在区域固定等特点,导致卷积神经网络只考虑风向自记图局部近邻特征的问题,使卷积神经网络不能准确识别风向自记图。针对上述存在问题,提出残差网络和自注意力机制相结合的风向自记图识别模型。采用一维和二维风向自记图作为输入数据,通过残差网络进行风向自记图特征提取,引入自注意力机制对特征赋予不同的权重,增强风向自记图分类特征并抑制背景特征。实验结果表明,使用上述方法能有效增加特征信息区分度,风向识别准确率可达76.34%。对比实验结果表明,模型在风向识别准确率方面优于其它风向识别模型。 展开更多

关键词 残差网络 自注意力机制 风向自记图 风向识别 准确率

在线阅读 下载PDF 职称材料