期刊文献+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
共找到62篇文章
< 1 2 … 4 >
每页显示 20 50 100
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
显示方式：
融合大语言模型和预训练模型的少量语料说话人-情感语音转换方法 被引量：1
1
作者 鲁超峰 陶冶 +4 位作者 文连庆 孟菲 秦修功 杜永杰 田云龙 《计算机应用》 北大核心 2025年第3期815-822,共8页
针对很少有人将说话人转换和情感转换结合起来研究,且实际场景中的目标说话人情感语料通常很少,不足以从头训练一个强泛化性模型的问题,提出一种融合大语言模型和预训练情感语音合成模型的少量语料说话人-情感语音转换(LSEVC)方法。首先... 针对很少有人将说话人转换和情感转换结合起来研究,且实际场景中的目标说话人情感语料通常很少,不足以从头训练一个强泛化性模型的问题,提出一种融合大语言模型和预训练情感语音合成模型的少量语料说话人-情感语音转换(LSEVC)方法。首先,使用大语言模型生成带有所需情感标签的文本;其次,使用目标说话人语料微调预训练情感语音合成模型以嵌入目标说话人;然后,将生成的文本合成情感语音,以达到数据增强的目的;再次,使用合成语音与源目标语音共同训练说话人-情感语音转换模型;最后,为了进一步提升转换语音的说话人相似度和情感相似度,使用源目标说话人情感语音微调模型。在公共语料库和一个中文小说语料库上的实验结果表明,综合考虑评价指标情感相似度平均得分(EMOS)、说话人相似度平均意见得分(SMOS)、梅尔倒谱失真(MCD)和词错误率(WER)时,所提方法优于CycleGAN-EVC、Seq2Seq-EVC-WA2和SMAL-ET2等方法。 展开更多
关键词 少量语料 说话人-情感语音转换 大语言模型 预训练情感语音合成模型 微调
在线阅读 下载PDF
结合预训练模型和数据增强的跨领域属性级情感分析研究
2
作者 陈舸 王中卿 《计算机科学》 北大核心 2025年第8期300-307,共8页
属性级情感分析(ABSA)是一项细粒度情感分析任务,旨在识别文本中的具体属性并探测其情感倾向。针对ABSA模型因无法适应不同领域的语言风格而导致性能不佳以及目标领域缺乏标注数据的问题,提出了一种结合预训练模型的跨领域属性级情感分... 属性级情感分析(ABSA)是一项细粒度情感分析任务,旨在识别文本中的具体属性并探测其情感倾向。针对ABSA模型因无法适应不同领域的语言风格而导致性能不佳以及目标领域缺乏标注数据的问题,提出了一种结合预训练模型的跨领域属性级情感分析方法。该方法利用预训练模型对目标领域文本进行标签生成,再利用大语言模型重新生成更具目标领域风格的自然语句,最后将生成的样本和源领域样本组合训练,以对目标领域进行预测。在SemEval语料库的restaurant和laptop数据集以及一个公开的网络服务评论数据集上进行实验,结果表明,与现有跨领域情感分析方法相比,所提方法在F1值上至少提升了5.33%,充分证明了该方法的有效性。 展开更多
关键词 跨领域情感分析 预训练模型 T5 GPT
在线阅读 下载PDF
基于离散化自监督表征增强的老挝语非自回归语音合成方法
3
作者 冯子健 王琳钦 +2 位作者 高盛祥 余正涛 董凌 《中文信息学报》 北大核心 2025年第7期54-61,共8页
老挝语的语音合成对中老两国合作与交流意义重大,但老挝语语音发音复杂,存在声调、音节及音素等发音特性,现有语音合成方法在老挝语上效果不尽人意。基于注意力机制建模的自回归模型难以拟合复杂的老挝语语音,模型泛化能力差,容易出现... 老挝语的语音合成对中老两国合作与交流意义重大,但老挝语语音发音复杂,存在声调、音节及音素等发音特性,现有语音合成方法在老挝语上效果不尽人意。基于注意力机制建模的自回归模型难以拟合复杂的老挝语语音,模型泛化能力差,容易出现漏字、跳字等灾难性错误,合成音频缺乏自然性和流畅性。该文提出基于离散化自监督表征增强的老挝语非自回归语音合成方法,结合老挝语的语音特点,使用老挝语音素粒度的标注时长信息构建非自回归架构声学模型,通过自监督学习的预训练语音模型来提取语音内容和声调信息的离散化表征,融入到声学模型中增强模型的语音生成能力,增强合成音频的流畅性和自然性。实验证明,本文合成音频达到了4.03的MOS评分,基于离散化自监督表征增强的非自回归建模方法,能更好地在声调、音素时长、音高等细粒度层面刻画老挝语的语音特性。 展开更多
关键词 语音合成 老挝语 非自回归 预训练语音模型
在线阅读 下载PDF
面向合成语音检测的弹性正交权重修正连续学习算法
4
作者 张晓辉 易江燕 +1 位作者 陶建华 周俊佐 《计算机研究与发展》 北大核心 2025年第2期336-345,共10页
目前,深度学习在合成语音检测领域取得了巨大的成功.然而,通常情况下,深度模型可以在与训练集分布相似的测试集上取得高准确率,但在跨数据集的情境下,其准确率却会显著下降.为了提高模型在新数据集上的泛化能力,通常需要对其进行微调,... 目前,深度学习在合成语音检测领域取得了巨大的成功.然而,通常情况下,深度模型可以在与训练集分布相似的测试集上取得高准确率,但在跨数据集的情境下,其准确率却会显著下降.为了提高模型在新数据集上的泛化能力,通常需要对其进行微调,但这会导致模型遭受灾难性遗忘.灾难性遗忘指的是模型在新数据上的训练会损害其从旧数据中获得的知识,导致对旧数据的识别性能下降.目前,克服灾难性遗忘的主要算法之一是连续学习.面向合成语音检测提出了一种连续学习算法——弹性正交权重修正(elastic orthogonal weight modification,EOWM),用于克服灾难性遗忘.该算法通过修正模型在学习新知识时的参数更新方向和更新幅度,以减少对已学知识的损害.具体来说,该算法在模型学习新知识时要求参数的更新方向与旧任务的数据分布正交,并同时限制对旧任务中重要参数的更新幅度.在合成语音检测领域的跨数据集实验中,算法取得了良好的效果.与微调相比,该算法在旧数据集上的等错误率(equal error rate,EER)从7.334%降低至0.821%,相对下降了90%;在新数据集上的等错误率从0.513%降低至0.315%,相对下降了40%. 展开更多
关键词 合成语音检测 连续学习 弹性正交权重修正 预训练模型 深度神经网络
在线阅读 下载PDF
改进的预训练模型JWT及其在情感分析中的应用 被引量：2
5
作者 费宏慧 《中国工程机械学报》 北大核心 2021年第3期212-216,共5页
深层预训练模型能有效应用于"方面-目标"类型的方面级情感分析,但其结构复杂,计算代价昂贵,不能直接应用于"方面-主题"类型的方面级情感分析。基于此,本文提出了一种改进的浅层预训练模型(JWT),它能同时对中心词的... 深层预训练模型能有效应用于"方面-目标"类型的方面级情感分析,但其结构复杂,计算代价昂贵,不能直接应用于"方面-主题"类型的方面级情感分析。基于此,本文提出了一种改进的浅层预训练模型(JWT),它能同时对中心词的局部上下文和全局上下文建模。局部上下文建模沿用word2vec的思想,全局上下文建模利用vMF分布。JWT将全局上下文视为主题,并将其作为中心词局部上下文的产生条件,能适应"方面-主题"类型的方面级情感分析应用场景。在3个数据集上评估了JWT模型学得的词相似性,在4种不同的情感分类器上研究了JWT在评论数据集SemEval ABSA上的情感分类性能。结果表明:JWT模型在所有的实验任务上均优于标准的skip-gram,并取得了与现有的基准模型(cvMF)和Joint skip-gram相媲美的效果。 展开更多
关键词 预训练模型 word2vec 词嵌入 全局上下文 情感分析
在线阅读 下载PDF
基于迁移学习双阶段训练的情感语音克隆技术 被引量：1
6
作者 李囡 郭浩 相洁 《计算机工程与设计》 北大核心 2024年第5期1533-1540,共8页
为解决传统基于SV2TTS架构的语音克隆系统合成语音缺乏丰富表达能力的问题,提出一种基于迁移学习双阶段训练说话人编码器的情感语音克隆方法。在说话人识别技术基础上,利用迁移学习,对说话人编码器进行音色克隆训练;在情感克隆训练阶段... 为解决传统基于SV2TTS架构的语音克隆系统合成语音缺乏丰富表达能力的问题,提出一种基于迁移学习双阶段训练说话人编码器的情感语音克隆方法。在说话人识别技术基础上,利用迁移学习,对说话人编码器进行音色克隆训练;在情感克隆训练阶段,采用情感语音数据集对其参数进行微调,提取具有情感信息的说话人特征。将此特征作为合成器的输入对梅尔谱的生成过程进行调节,通过声码器将此梅尔谱转换为具有目标说话人信息的情感语音。主客观分析结果表明,该方法所生成的克隆语音的情感相似度更高,音色相似度也有一定改善。 展开更多
关键词 迁移学习 情感语音克隆 情感语音合成 双阶段训练 说话人识别 说话人编码 参数微调
在线阅读 下载PDF
基于跨语言迁移学习及联合训练的泰语语音合成
7
作者 张欣瑞 杨鉴 王展 《计算机科学》 CSCD 北大核心 2024年第S01期298-304,共7页
随着深度学习和神经网络的快速发展,基于深度神经网络的端到端语音合成系统因性能优异成为主流。然而近年来,泰语语音合成相关研究还不充分,主要原因是大规模泰语数据集稀缺且该语言拼写方式有其特殊性。为此,在低资源前提下基于FastSpe... 随着深度学习和神经网络的快速发展,基于深度神经网络的端到端语音合成系统因性能优异成为主流。然而近年来,泰语语音合成相关研究还不充分,主要原因是大规模泰语数据集稀缺且该语言拼写方式有其特殊性。为此,在低资源前提下基于FastSpeech2声学模型和StyleMelGAN声码器研究泰语语音合成。针对基线系统中存在的问题,提出了3个改进方法以进一步提高泰语合成语音的质量。(1)在泰语语言专家指导下,结合泰语语言学相关知识设计泰语G2P模型,旨在处理泰语文本中存在的特殊拼写方式;(2)根据所设计的泰语G2P模型转换的国际音标表示的音素,选择拥有相似音素输入单元且数据集丰富的语言进行跨语言迁移学习来解决泰语训练数据不足的问题;(3)采用FastSpeech2和StyleMelGAN声码器联合训练的方法解决声学特征失配的问题。为了验证所提方法的有效性,从注意力对齐图、客观评测MCD和主观评测MOS评分3方面进行测评。实验结果表明,使用所提泰语G2P模型可以获得更好的对齐效果进而得到更准确的音素持续时间,采用“所提泰语G2P模型+联合训练+迁移学习”方法的系统可以获得最好的语音合成质量,合成语音的MCD和MOS评分分别为7.43±0.82分和4.53分,明显优于基线系统的9.47±0.54分和1.14分。 展开更多
关键词 语音合成 低资源 泰语G2P模型 迁移学习 联合训练
在线阅读 下载PDF
基于注意力头数和词性融合的藏文预训练模型
8
作者 张英 拥措 +3 位作者 斯曲卓嘎 拉毛杰 扎西永珍 尼玛扎西 《科学技术与工程》 北大核心 2024年第23期9957-9964,共8页
为了更好地学习藏文语言特征以及探究藏文预训练语言模型的最佳注意力机制头数,将词性与藏文预训练模型相结合,并进行了对比实验确定最佳的注意力头数,旨在提高语言模型对藏文语言特征的理解以及下游任务的性能。实验结果表明,在多个分... 为了更好地学习藏文语言特征以及探究藏文预训练语言模型的最佳注意力机制头数,将词性与藏文预训练模型相结合,并进行了对比实验确定最佳的注意力头数,旨在提高语言模型对藏文语言特征的理解以及下游任务的性能。实验结果表明,在多个分类任务中,注意力头数为12的预训练模型皆表现了良好的性能。此外,将词性融入预训练模型后,文本、标题和情感分类任务的模型F_(1)值分别提高了0.57%、0.92%和1.01%。实验结果证明融入词性特征后,模型可以更准确地理解藏文语言结构和语法规则,从而提高分类任务的准确率。 展开更多
关键词 注意力机制 词性 预训练语言模型 文本分类 情感分类
在线阅读 下载PDF
基于预训练语言模型词向量融合的情感分析研究 被引量：5
9
作者 魏上斐 乔保军 +1 位作者 于俊洋 姚相宇 《计算机应用与软件》 北大核心 2021年第5期152-157,共6页
针对传统情感分类模型的分类效果不足,无法准确地捕捉词语之间关系的问题,提出一种基于预训练语言模型词向量融合的GE-BiLSTM(Glove-ELMO-BiLSTM)情感分析模型。通过预训练语言模型ELMO以语言模型为目的训练词向量,再与传统的Glove模型... 针对传统情感分类模型的分类效果不足,无法准确地捕捉词语之间关系的问题,提出一种基于预训练语言模型词向量融合的GE-BiLSTM(Glove-ELMO-BiLSTM)情感分析模型。通过预训练语言模型ELMO以语言模型为目的训练词向量,再与传统的Glove模型的训练结果进行运算融合,结合了全局信息以及局部上下文信息,增加了词向量矩阵的稠密度,词语之间的特征得到更好的表达,结合BiLSTM神经网络可以更好地捕捉上下文信息的关系。实验结果证明:GE-BiLSTM情感分析模型可以达到更好的分类效果,准确率比传统模型提高了2.3百分点,F1值提升了0.024。 展开更多
关键词 GLOVE 预训练语言模型 ELMO 词向量融合 BiLSTM 情感分析
在线阅读 下载PDF
PRBDN:基于预训练的微博评论情感分类模型 被引量：4
10
作者 雷鹏斌 秦斌 +3 位作者 王志立 吴宇凡 梁思怡 陈宇 《中文信息学报》 CSCD 北大核心 2022年第8期101-108,共8页
文本情感分类是自然语言处理中的经典任务,在判断文本的情感极性、舆情监控、市场呼声、商品评论等领域有重要的应用价值。该文提出了一种基于预训练模型进行细粒度文本情感分类的新方法。基于文章级别的情感分类任务,需要模型同时具有... 文本情感分类是自然语言处理中的经典任务,在判断文本的情感极性、舆情监控、市场呼声、商品评论等领域有重要的应用价值。该文提出了一种基于预训练模型进行细粒度文本情感分类的新方法。基于文章级别的情感分类任务,需要模型同时具有较高的语义概括能力和抗噪能力。为此,该文利用BiLSTM网络对预训练模型中每层Transformer的权重进行调整,通过将各层表达的不同粒度的语义表征进行动态融合的方式,提高模型的语义空间表达能力。为了增强模型的泛化性能,该文在下游任务结合BiLSTM和BiGRU等结构对得到的语义向量进行特征过滤。利用该模型,作者在CCF 2020年举办的科技战疫·大数据公益挑战赛—疫情期间网民情绪识别赛道中位列第三,最终测试集的F_(1)值为0.74537,该模型的参数量比第一名模型少67%,但二者分数差距仅为0.0001,说明该方法具备可行性与有效性。 展开更多
关键词 文本情感分类 预训练模型 动态权重 长短时记忆网络
在线阅读 下载PDF
SentiBERT:结合情感信息的预训练语言模型 被引量：11
11
作者 杨晨 宋晓宁 宋威 《计算机科学与探索》 CSCD 北大核心 2020年第9期1563-1570,共8页
在大规模无监督语料上预训练的语言模型正逐渐受到自然语言处理领域研究者的关注。现有模型在预训练阶段主要提取文本的语义和结构特征,针对情感类任务的复杂情感特征,在最新的预训练语言模型BERT(双向transformers编码表示)的基础上,... 在大规模无监督语料上预训练的语言模型正逐渐受到自然语言处理领域研究者的关注。现有模型在预训练阶段主要提取文本的语义和结构特征,针对情感类任务的复杂情感特征,在最新的预训练语言模型BERT(双向transformers编码表示)的基础上,提出了一种侧重学习情感特征的预训练方法。在目标领域的预训练阶段,利用情感词典改进了BERT的预训练任务。同时,使用基于上下文的词粒度情感预测任务对掩盖词情感极性进行分类,获取偏向情感特征的文本表征。最后在少量标注的目标数据集上进行微调。实验结果表明,相较于原BERT模型,可将情感任务的精度提升1个百分点,特别是训练样本较少时,能取得更先进的效果。 展开更多
关键词 BERT 情感分类 预训练语言模型 多任务学习
在线阅读 下载PDF
基于交替训练及预训练的低资源泰语语音合成
12
作者 蔡浩然 杨鉴 +1 位作者 杨琳 刘聪 《计算机科学》 CSCD 北大核心 2023年第S01期416-420,共5页
泰语作为一种有数千万人口使用的语言,应用较为广泛,20世纪90年代末就有学者开展了泰语语音合成的研究。近年来,基于深度神经网络并利用大规模高质量“文本-音频”数据训练的端到端语音合成系统,已经能够合成出高质量的语音。目前,汉语... 泰语作为一种有数千万人口使用的语言,应用较为广泛,20世纪90年代末就有学者开展了泰语语音合成的研究。近年来,基于深度神经网络并利用大规模高质量“文本-音频”数据训练的端到端语音合成系统,已经能够合成出高质量的语音。目前,汉语、英语等通用语已拥有海量的语音合成数据库,然而泰语作为一种非通用语可获取的“文本-音频”数据库规模往往较小。在低资源条件下,以提高泰语语音合成质量为目标,选用端到端语音合成模型Tacotron2作为基线模型,研究交替训练方法以及预训练方法,研究不同文本嵌入方式对泰语语音合成效果的影响;然后从注意力对齐图和MOS评分两方面对文中设计的6种模型所合成的语音进行测评。实验结果表明,采用“元辅音嵌入+预训练+交替训练”方法的系统的语音合成质量最好,合成语音的MOS评分可达3.95分,明显优于基线系统的1.71分。 展开更多
关键词 语音合成 泰语 低资源 交替训练 预训练
在线阅读 下载PDF
融合双通道特征的中文短文本情感分类模型 被引量：3
13
作者 臧洁 鲁锦涛 +2 位作者 王妍 李翔 廖慧之 《计算机工程与应用》 CSCD 北大核心 2024年第21期116-126,共11页
中文短文本具有特征稀疏、歧义多、信息不规范、文本情感丰富等特点,现有基于深度学习的中文短文本情感分类模型具有提取文本特征不充分和只注重语义信息而忽视句法信息的问题。针对上述问题提出融合双通道特征的中文短文本情感分类模... 中文短文本具有特征稀疏、歧义多、信息不规范、文本情感丰富等特点,现有基于深度学习的中文短文本情感分类模型具有提取文本特征不充分和只注重语义信息而忽视句法信息的问题。针对上述问题提出融合双通道特征的中文短文本情感分类模型。预训练模型得到动态词向量,赋予模型更丰富的语言特征和明确的句法信息。双通道提取动态词向量的文本特征,上侧通道改进了DPCNN网络,提取文本丰富的长距离依赖关系;下侧通道建立双向长短期记忆网络各时间的字词特征和文本特征的多头自注意力关系,学习更加充分的文本特征,对分类结果较为关键的词汇给予更多的关注。将双通道的特征信息拼接获得最终的文本表示。实验结果表明,该分类模型在Chn-SentiCorp、微博评论和电商评论数据集的准确率分别能够达到96.54%、92.05%和94.3%,对比模型准确率平均值高2.28、2.44和1.01个百分点。融合双通道特征的中文短文本情感分类模型能有效提高文本分类准确率,为中文短文本情感分类提供了新的理论模型。 展开更多
关键词 文本情感分类 预训练模型 深度学习 注意力机制
在线阅读 下载PDF
基于HMM的可训练中文语音合成 被引量：17
14
作者 吴义坚 王仁华 《中文信息学报》 CSCD 北大核心 2006年第4期75-81,共7页
本文将基于HMM的可训练语音合成方法应用到中文语音合成。通过对HMM建模参数的合理选择和优化,并基于中文语音特性设计上下文属性集以及用于模型聚类的问题集,提高其建模和训练效果。从对比评测实验结果来看,98.5%的合成语音在改进后其... 本文将基于HMM的可训练语音合成方法应用到中文语音合成。通过对HMM建模参数的合理选择和优化,并基于中文语音特性设计上下文属性集以及用于模型聚类的问题集,提高其建模和训练效果。从对比评测实验结果来看,98.5%的合成语音在改进后其音质得到改善。此外,针对合成语音节奏感不强的问题,提出了一种基于状态和声韵母单元的两层模型用于时长建模和预测,集外时长预测RMSE由29.56m s降为27.01m s。从最终的合成系统效果来看,合成语音整体稳定流畅,而且节奏感也比较强。由于合成系统所需的存贮量非常小,特别适合嵌入式应用。 展开更多
关键词 计算机应用 中文信息处理 语音合成 HMM 可训练语音合成 时长模型
在线阅读 下载PDF
基于预训练语言表示模型的汉语韵律结构预测 被引量：2
15
作者 张鹏远 卢春晖 王睿敏 《天津大学学报（自然科学与工程技术版）》 EI CSCD 北大核心 2020年第3期265-271,共7页
韵律结构预测作为语音合成系统中的一个关键步骤,其结果直接影响合成语音的自然度和可懂度.本文提出了一种基于预训练语言表示模型的韵律结构预测方法,以字为建模单位,在预训练语言模型的基础上对每个韵律层级设置了独立的输出层,利用... 韵律结构预测作为语音合成系统中的一个关键步骤,其结果直接影响合成语音的自然度和可懂度.本文提出了一种基于预训练语言表示模型的韵律结构预测方法,以字为建模单位,在预训练语言模型的基础上对每个韵律层级设置了独立的输出层,利用韵律标注数据对预训练模型进行微调.另外在此基础上额外增加了分词任务,通过多任务学习的方法对各韵律层级间的关系及韵律与词间的关系建模,实现对输入文本各级韵律边界的同时预测.实验首先证明了多输出结构设置的合理性及使用预训练模型的有效性,并验证了分词任务的加入可以进一步提升模型性能;将最优的结果与设置的两个基线模型相比,在韵律词和韵律短语预测的F1值上与条件随机场模型相比分别有2.48%和4.50%的绝对提升,而与双向长短时记忆网络相比分别有6.2%和5.4%的绝对提升;最后实验表明该方法可以在保证预测性能的同时减少对训练数据量的需求. 展开更多
关键词 韵律结构预测 预训练语言表示模型 多任务学习 语音合成
在线阅读 下载PDF
基于主题与情感联合预训练的虚假评论检测方法 被引量：3
16
作者 张东杰 黄龙涛 +3 位作者 张荣 薛晖 林俊宇 路瑶 《计算机研究与发展》 EI CSCD 北大核心 2021年第7期1385-1394,共10页
商品评论信息是用户线上决策的重要依据,但在利益的驱使下商家往往会通过雇佣专业的写手撰写大量虚假评论的方式来误导用户,进而达到包装自己或诋毁竞争对手的目的.这种现象会造成不正当的商业竞争和极差的用户体验.针对这一现象,我们... 商品评论信息是用户线上决策的重要依据,但在利益的驱使下商家往往会通过雇佣专业的写手撰写大量虚假评论的方式来误导用户,进而达到包装自己或诋毁竞争对手的目的.这种现象会造成不正当的商业竞争和极差的用户体验.针对这一现象,我们通过情感预训练的方法对现有的虚假评论识别模型进行了改进,并提出了一种能够同时整合评论语义和情感信息的联合预训练学习方法.鉴于预训练模型强大的语义表示能力,在联合学习框架中采用了2种预训练模型编码器分别用于抽取评论的语义和情感上下文特征,并通过联合训练的方法整合2种特征,最后使用Center Loss损失函数对模型进行优化.在多个公开数据集和多个不同任务上进行了验证实验,实验表明提出的联合模型在虚假评论检测与情感极性分析任务上都取得了目前最好的效果且具有更强的泛化能力. 展开更多
关键词 虚假评论检测 预训练模型 情感分析 联合训练 Center Loss
在线阅读 下载PDF
预训练语言模型的应用综述 被引量：17
17
作者 孙凯丽 罗旭东 罗有容 《计算机科学》 CSCD 北大核心 2023年第1期176-184,共9页
近年来,预训练语言模型发展迅速,将自然语言处理推到了一个全新的发展阶段。文中的综述旨在帮助研究人员了解强大的预训练语言模型在何处以及如何应用于自然语言处理。具体来讲,首先简要回顾了典型的预训练模型,包括单语言预训练模型、... 近年来,预训练语言模型发展迅速,将自然语言处理推到了一个全新的发展阶段。文中的综述旨在帮助研究人员了解强大的预训练语言模型在何处以及如何应用于自然语言处理。具体来讲,首先简要回顾了典型的预训练模型,包括单语言预训练模型、多语言预训练模型以及中文预训练模型;然后讨论了这些预训练模型对5个不同的自然语言处理任务的贡献,即信息提取、情感分析、问答系统、文本摘要和机器翻译;最后讨论了预训练模型的应用所面临的一些挑战。 展开更多
关键词 预训练语言模型 自然语言处理 深度学习 信息提取 情感分析 问答系统 文本摘要 机器翻译
在线阅读 下载PDF
基于情感隐空间学习与CLIP模型的身体动作情感识别方法
18
作者 罗红 慎煜杰 +1 位作者 陈娟娟 王丹 《计算机应用》 CSCD 北大核心 2024年第S2期44-49,共6页
身体动作情感识别的关键是提取人物身体动作蕴含的情感特征。针对现有模型情感特征学习能力较差且情感识别精度难以提升的问题,提出一种基于情感隐空间学习与对比语言-图像预训练(CLIP)模型的身体动作情感识别方法。首先,引入CLIP模型,... 身体动作情感识别的关键是提取人物身体动作蕴含的情感特征。针对现有模型情感特征学习能力较差且情感识别精度难以提升的问题,提出一种基于情感隐空间学习与对比语言-图像预训练(CLIP)模型的身体动作情感识别方法。首先,引入CLIP模型,从而增强模型的情感特征学习能力。其次,针对细粒度多标签情感分类任务,提出情感隐空间学习(ELSL)方法。该方法能通过学习情感隐空间向各个子空间的判别映射,在各个情感子空间上捕获情感类别之间的细微差异和对各情感类别的分类有益的特征信息。在面向真实世界开放场景的肢体语言数据集(BoLD)上的实验结果表明,所提方法充分利用了CLIP模型与隐空间学习在特征学习上的优势,取得了显著的性能提升。具体地,相较于运动分析网络(MANet),所提方法的平均精度均值(mAP)提高了1.08个百分点,平均受试者工作特征曲线下方面积(mRA)提高了1.32个百分点。 展开更多
关键词 身体动作情感识别 对比语言-图像预训练模型 隐空间学习 提示学习 多标签分类
在线阅读 下载PDF
基于视觉语义与提示学习的多模态情感分析模型
19
作者 莫书渊 蒙祖强 《计算机科学》 CSCD 北大核心 2024年第9期250-257,共8页
随着深度学习技术的发展,多模态情感分析已成为研究热点之一。然而,大多数多模态情感分析模型或从不同模态中提取特征向量并简单地进行加权求和,导致数据无法准确地映射到统一的多模态向量空间中,或依赖图像描述模型将图像转化为文本,... 随着深度学习技术的发展,多模态情感分析已成为研究热点之一。然而,大多数多模态情感分析模型或从不同模态中提取特征向量并简单地进行加权求和,导致数据无法准确地映射到统一的多模态向量空间中,或依赖图像描述模型将图像转化为文本,导致提取到过多不包含情感信息的视觉语义,造成信息冗余,最终影响模型的性能。为了解决这些问题,提出了一种基于视觉语义与提示学习的多模态情感分析模型VSPL。该模型将图像转化为精确简短、蕴含情感信息的视觉语义词汇,从而缓解信息冗余的问题;并基于提示学习的方法,将得到的视觉语义词汇与针对情感分类任务而提前设计好的提示模板组合成新文本,实现模态融合,这样做既避免了由加权求和导致的特征空间映射不准确的问题,又能借助提示学习的方法激发预训练语言模型的潜在性能。对多模态情感分析任务进行了对比实验,结果表明所提模型VSPL在3个公开数据集上的性能超越了先进的基准模型。此外,还进行了消融实验、特征可视化和样例分析,验证了VSPL的有效性。 展开更多
关键词 多模态 视觉语义 提示学习 情感分析 预训练语言模型
在线阅读 下载PDF
基于自监督对比学习与方面级情感分析的联合微调模型
20
作者 狄广义 陈见飞 +3 位作者 杨世军 高军 王耀坤 余本功 《科学技术与工程》 北大核心 2024年第21期9033-9042,共10页
方面级情感分析是自然语言处理领域中一项具有挑战性的细粒度情感分析任务。以微调预训练语言模型的方式广泛应用于方面级情感分析任务,并取得了明显的效果提升。然而,现有多数研究设计的下游结构较为复杂,甚至与预训练模型部分隐藏层... 方面级情感分析是自然语言处理领域中一项具有挑战性的细粒度情感分析任务。以微调预训练语言模型的方式广泛应用于方面级情感分析任务,并取得了明显的效果提升。然而,现有多数研究设计的下游结构较为复杂,甚至与预训练模型部分隐藏层结构重合,从而限制了整体模型性能。由于对比学习方法有助于改善预训练语言模型在词语级别和句子级别的表示,设计了一种结合自监督对比学习与方面级情感分析的联合微调模型(self-supervised contrastive learning aspect-based sentiment analysis,SSCL-ABSA)。该模型以简洁的下游结构联合两种学习任务,实现从不同角度微调预训练基于Transformer的双向编码器(bidirectional encoder representations from Transformers,BERT)模型,有效促进了方面级情感分析效果的提升。具体地,首先在BERT编码阶段,将评论文本与方面词拼接成两个片段输入BERT编码器,得到各词特征表示。之后根据下游结构需求,对不同的词特征采用池化操作。一方面池化所有词特征用于方面级情感分析,另一方面池化两个片段的方面词特征用于自监督对比学习。最终结合两种任务以联合学习的方式微调BERT编码器。在3个公开数据集上进行实验评估,结果表明SSCL-ABSA方法优于其他同类对比方法。借助t-分布随机近邻嵌入(t-distributed stochastic neighbor embedding,t-SNE)方法,形象地可视化了SSCL-ABSA有效改善了BERT模型的实体表示效果。 展开更多
关键词 方面级情感分析 自监督对比学习 预训练语言模型 BERT编码器 联合微调
在线阅读 下载PDF
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
上一页 1 2 … 4 下一页 到第 页
关于我们 | 版权声明 | 联系我们 | 帮助中心| 意见反馈
主办单位：上海市教育委员会
技术支持：重庆维普资讯有限公司
渝公网安备 50019002500403号
使用帮助 返回顶部