检索结果-维普期刊中文期刊服务平台

基于Word2Vec和改进注意力机制AlexNet-2的文本分类方法被引量：15: 1; 作者钟桂凤庞雄文隋栋《计算机科学》 CSCD 北大核心 2022年第4期288-293,共6页; 为了提高文本分类的准确性和运行效率,提出一种Word2Vec文本表征和改进注意力机制AlexNet-2的文本分类方法。首先,利用Word2Vec对文本词特征进行嵌入表示,并训练词向量,将文本表示成分布式向量的形式;然后,利用改进的AlexNet-2对长距离... 展开更多; 关键词文本分类注意力机制 AlexNet-2模型上下文嵌入词相依性; 在线阅读下载PDF 职称材料

深层差异特征增强的机器翻译自动评价: 2; 作者支思威李茂西 +1 位作者吴水秀陈有德《中文信息学报》 CSCD 北大核心 2024年第10期46-53,共8页; 机器翻译自动评价任务将机器翻译系统输出译文与人工参考译文进行对比定量计算翻译质量,在机器翻译的研究和应用中发挥着重要作用。当前主流的方法是使用预训练上下文语言模型表征机器翻译和人工参考译文,将两者的表征向量直接拼接输入... 展开更多; 关键词机器翻译自动评价多头注意力预训练上下文词向量差异特征; 在线阅读下载PDF 职称材料

多特征融合的句子级译文质量估计方法被引量：4: 3; 作者叶娜王远远蔡东风《厦门大学学报（自然科学版）》 CAS CSCD 北大核心 2020年第2期167-174,共8页; 与传统的机器译文评价方法不同,译文质量估计技术旨在无参考译文的情况下对机器译文质量进行评价.针对目前流行的基于深度学习的译文质量估计方法因数据匮乏和模型限制导致所提取的深度学习特征不充分的现状,提出一种多特征融合的方法.... 展开更多; 关键词译文质量估计特征融合语境化词嵌入语言表示句法; 在线阅读下载PDF 职称材料

融合BERT语境词向量的译文质量估计方法研究被引量：10: 4; 作者李培芸李茂西 +1 位作者裘白莲王明文《中文信息学报》 CSCD 北大核心 2020年第3期56-63,共8页; 蕴含语义、句法和上下文信息的语境词向量作为一种动态的预训练词向量,在自然语言处理的下游任务中有着广泛应用。然而,在机器译文质量估计中,没有相关研究工作涉及语境词向量。该文提出利用堆叠双向长短时记忆网络将BERT语境词向量引... 展开更多; 关键词神经译文质量估计语境词向量循环神经网络编码器-解码器网络质量向量; 在线阅读下载PDF 职称材料

自然语言预训练模型知识增强方法综述被引量：13: 5; 作者孙毅裘杭萍 +2 位作者郑雨张超然郝超《中文信息学报》 CSCD 北大核心 2021年第7期10-29,共20页; 将知识引入到依靠数据驱动的人工智能模型中是实现人机混合智能的一种重要途径。当前以BERT为代表的预训练模型在自然语言处理领域取得了显著的成功,但是由于预训练模型大多是在大规模非结构化的语料数据上训练出来的,因此可以通过引入... 展开更多; 关键词预训练语言模型知识增强预训练词嵌入预训练上下文编码器; 在线阅读下载PDF 职称材料

题名基于Word2Vec和改进注意力机制AlexNet-2的文本分类方法被引量：15: 1; 作者钟桂凤庞雄文隋栋; 机构广州理工学院计算机科学与工程学院华南师范大学计算机学院北京建筑大学电气与信息工程学院; 出处《计算机科学》 CSCD 北大核心 2022年第4期288-293,共6页; 基金国家自然科学青年基金(61702026) 2020年度广东省高校科研项目(2020GXJK201) +1 种基金 2021年广东省高等教育专项(2021GXJK275)。; 文摘为了提高文本分类的准确性和运行效率,提出一种Word2Vec文本表征和改进注意力机制AlexNet-2的文本分类方法。首先,利用Word2Vec对文本词特征进行嵌入表示,并训练词向量,将文本表示成分布式向量的形式;然后,利用改进的AlexNet-2对长距离词相依性进行有效编码,同时对模型添加注意力机制,以高效学习目标词的上下文嵌入语义,并根据词向量的输入与最终预测结果的相关性,进行词权重的调整。实验在3个公开数据集中进行评估,分析了大量样本标注和少量样本标注的情形。实验结果表明,与已有的优秀方法相比,所提方法可以明显提高文本分类的性能和运行效率。; 关键词文本分类注意力机制 AlexNet-2模型上下文嵌入词相依性; Keywords Text classification Attention mechanism AlexNet-2 model contextual embedding word dependency; 分类号 TP391 [自动化与计算机技术—计算机应用技术] TP311 [自动化与计算机技术—计算机软件与理论]; 在线阅读下载PDF 职称材料

题名深层差异特征增强的机器翻译自动评价: 2; 作者支思威李茂西吴水秀陈有德; 机构江西师范大学计算机信息工程学院江西师范大学管理科学与工程研究中心; 出处《中文信息学报》 CSCD 北大核心 2024年第10期46-53,共8页; 基金国家自然科学基金(62366020) 江西省教育厅科技项目(GJJ210306)。; 文摘机器翻译自动评价任务将机器翻译系统输出译文与人工参考译文进行对比定量计算翻译质量,在机器翻译的研究和应用中发挥着重要作用。当前主流的方法是使用预训练上下文语言模型表征机器翻译和人工参考译文,将两者的表征向量直接拼接输入前馈神经网络层以预测翻译质量;它没有在统一语义空间对两者之间的差异进行显式建模。该文提出基于深层差异特征增强的机器翻译自动评价方法,使用多头注意力机制深层抽象机器翻译和人工参考译文,利用两者在统一语义空间的差异特征增强当前最先进的自动评价方法UniTE_UP,将它们抽取的特征进行深层交互,以对机器翻译和人工参考译文之间的差异进行直接显式建模。在WMT'21机器翻译自动评价基准数据集上的实验结果表明,深层差异特征增强的自动评价方法能有效提高机器翻译自动评价与人工评价的相关性,消融实验和深入的实验分析进一步揭示了深层差异特征的有效性。; 关键词机器翻译自动评价多头注意力预训练上下文词向量差异特征; Keywords machine translation automatic evaluation multi-head attention pre-trained contextual word embedding difference features; 分类号 TP391 [自动化与计算机技术—计算机应用技术]; 在线阅读下载PDF 职称材料

题名多特征融合的句子级译文质量估计方法被引量：4: 3; 作者叶娜王远远蔡东风; 机构沈阳航空航天大学人机智能研究中心; 出处《厦门大学学报（自然科学版）》 CAS CSCD 北大核心 2020年第2期167-174,共8页; 基金教育部人文社会科学研究青年基金(19YJC740107) 辽宁省重点研发计划(2019JH2/10100020)。; 文摘与传统的机器译文评价方法不同,译文质量估计技术旨在无参考译文的情况下对机器译文质量进行评价.针对目前流行的基于深度学习的译文质量估计方法因数据匮乏和模型限制导致所提取的深度学习特征不充分的现状,提出一种多特征融合的方法.该方法将词预测特征、语境化词嵌入特征、依存句法特征和基线特征等从不同模型中提取到的特征分别输入到基于循环神经网络的下游模型中,进一步学习后采用不同的特征融合方式进行融合,以此来提高译文质量估计的准确性.通过对比实验表明,本文所提出的多特征融合策略相比于单个特征能更好地对双语信息进行表达,且进一步提高了译文质量估计的皮尔逊相关系数等评价指标.; 关键词译文质量估计特征融合语境化词嵌入语言表示句法; Keywords translation quality estimation feature fusion contextualized word embedding language representation syntax; 分类号 TP391 [自动化与计算机技术—计算机应用技术]; 在线阅读下载PDF 职称材料

题名融合BERT语境词向量的译文质量估计方法研究被引量：10: 4; 作者李培芸李茂西裘白莲王明文; 机构江西师范大学计算机信息工程学院; 出处《中文信息学报》 CSCD 北大核心 2020年第3期56-63,共8页; 基金国家自然科学基金(61662031,61462044,61876074)。; 文摘蕴含语义、句法和上下文信息的语境词向量作为一种动态的预训练词向量,在自然语言处理的下游任务中有着广泛应用。然而,在机器译文质量估计中,没有相关研究工作涉及语境词向量。该文提出利用堆叠双向长短时记忆网络将BERT语境词向量引入神经译文质量估计中,并通过网络并联的方式与传统的译文质量向量相融合。在CWMT18译文质量估计评测任务数据集上的实验结果表明,融合中上层的BERT语境词向量均显著提高了译文质量估计与人工评价的相关性,并且当对BERT语境词向量的最后4层表示平均池化后引入译文质量估计中对系统性能的提高幅度最大。实验分析进一步揭示了融合语境词向量的方法能利用译文的流利度特征来提高翻译质量估计的效果。; 关键词神经译文质量估计语境词向量循环神经网络编码器-解码器网络质量向量; Keywords neural quality estimation of machine translation contextual word embedding recurrent neural network encoder-decoder network quality vector; 分类号 TP391 [自动化与计算机技术—计算机应用技术]; 在线阅读下载PDF 职称材料

题名自然语言预训练模型知识增强方法综述被引量：13: 5; 作者孙毅裘杭萍郑雨张超然郝超; 机构陆军工程大学指挥控制工程学院; 出处《中文信息学报》 CSCD 北大核心 2021年第7期10-29,共20页; 基金国防科技创新特区计划项目(1916311LZ001003) 装备发展部基金项目(6141B08010101)。; 文摘将知识引入到依靠数据驱动的人工智能模型中是实现人机混合智能的一种重要途径。当前以BERT为代表的预训练模型在自然语言处理领域取得了显著的成功,但是由于预训练模型大多是在大规模非结构化的语料数据上训练出来的,因此可以通过引入外部知识在一定程度上弥补其在确定性和可解释性上的缺陷。该文针对预训练词嵌入和预训练上下文编码器两个预训练模型的发展阶段,分析了它们的特点和缺陷,阐述了知识增强的相关概念,提出了预训练词嵌入知识增强的分类方法,将其分为四类:词嵌入改造、层次化编解码过程、优化注意力和引入知识记忆。将预训练上下文编码器的知识增强方法分为任务特定和任务通用两大类,并根据引入知识的显隐性对其中任务通用的知识增强方法进行了进一步的细分。该文通过分析预训练模型知识增强方法的类型和特点,为实现人机混合的人工智能提供了模式和算法上的参考依据。; 关键词预训练语言模型知识增强预训练词嵌入预训练上下文编码器; Keywords pre-trained language model knowledge enhancement pre-trained word embedding pre-trained contextual encoder; 分类号 TP391 [自动化与计算机技术—计算机应用技术]; 在线阅读下载PDF 职称材料

	题名	作者	出处	发文年	被引量	操作
1	基于Word2Vec和改进注意力机制AlexNet-2的文本分类方法	钟桂凤庞雄文隋栋	《计算机科学》 CSCD 北大核心	2022	15	在线阅读下载PDF 职称材料
2	深层差异特征增强的机器翻译自动评价	支思威李茂西吴水秀陈有德	《中文信息学报》 CSCD 北大核心	2024	0	在线阅读下载PDF 职称材料
3	多特征融合的句子级译文质量估计方法	叶娜王远远蔡东风	《厦门大学学报（自然科学版）》 CAS CSCD 北大核心	2020	4	在线阅读下载PDF 职称材料
4	融合BERT语境词向量的译文质量估计方法研究	李培芸李茂西裘白莲王明文	《中文信息学报》 CSCD 北大核心	2020	10	在线阅读下载PDF 职称材料
5	自然语言预训练模型知识增强方法综述	孙毅裘杭萍郑雨张超然郝超	《中文信息学报》 CSCD 北大核心	2021	13	在线阅读下载PDF 职称材料