期刊文献+
共找到7篇文章
< 1 >
每页显示 20 50 100
基于同义词词林和预训练词向量的微调方法 被引量:2
1
作者 佘琪星 王必聪 +2 位作者 刘铭 秦兵 王莉峰 《中文信息学报》 CSCD 北大核心 2020年第10期27-32,共6页
同义词挖掘是自然语言处理领域中的一个基础任务,而同义词对的判别是该任务的一个重要部分。传统两大类方法,基于分布式表示和基于模板的方法,分别利用了语料的全局统计信息和局部统计信息,只能在精确率和召回率中权衡。随着预训练词向... 同义词挖掘是自然语言处理领域中的一个基础任务,而同义词对的判别是该任务的一个重要部分。传统两大类方法,基于分布式表示和基于模板的方法,分别利用了语料的全局统计信息和局部统计信息,只能在精确率和召回率中权衡。随着预训练词向量技术的发展,基于分布式表示的方法存在一种简单高效的方案,即直接对预训练好的词向量计算相似度,将此表示为语义相似度。然而,这样的思路并没有利用到现有的同义词对这一外部知识。该文提出基于《同义词词林》的词向量微调方法,利用同义词对信息,增强预训练词向量的语义表示。经过实验,该微调方法能很好地完成同义词对的判别。 展开更多
关键词 同义挖掘 预训练词向量 语义表示 微调
在线阅读 下载PDF
基于词向量预训练的不平衡文本情绪分类 被引量:8
2
作者 林怀逸 刘箴 +2 位作者 柴玉梅 刘婷婷 柴艳杰 《中文信息学报》 CSCD 北大核心 2019年第5期132-142,共11页
深度学习中处理不平衡问题的方法多为代价敏感和采样。该文在词向量迁移的基础上提出预训练任务选择方法。用利于小类别区分的预训练词向量来初始化目标模型,并结合均衡过采样充分利用样本信息保持模型在大类别上的精度,使模型提取的文... 深度学习中处理不平衡问题的方法多为代价敏感和采样。该文在词向量迁移的基础上提出预训练任务选择方法。用利于小类别区分的预训练词向量来初始化目标模型,并结合均衡过采样充分利用样本信息保持模型在大类别上的精度,使模型提取的文本特征在大小类别上具有公平性,从特征层面实现了平衡效果。实验结果表明,在文本情绪分类任务中,对比过采样方法,该方法在大部分无严重过拟合情况下有更好的平衡效果。当存在较严重过拟合时,该方法在目标分类数为三时平衡效果显著,并通过实验验证了预训练方法可与代价敏感方法相结合提升平衡性能。 展开更多
关键词 不平衡分类 情绪分类 均衡过采样 预训练词向量
在线阅读 下载PDF
基于位置增强词向量和GRU-CNN的方面级情感分析模型研究 被引量:3
3
作者 陶林娟 华庚兴 李波 《计算机工程与应用》 CSCD 北大核心 2024年第9期212-218,共7页
方面级情感分析旨在判断一段文本中特定方面词的情感倾向,其核心问题是方面词的上下文如何准确表征。与现有研究主要关注注意力机制的改进不同,该文从词语表征和上下文编码模型两个方面进行改进。在词语表征方面,通过BERT模型和位置度... 方面级情感分析旨在判断一段文本中特定方面词的情感倾向,其核心问题是方面词的上下文如何准确表征。与现有研究主要关注注意力机制的改进不同,该文从词语表征和上下文编码模型两个方面进行改进。在词语表征方面,通过BERT模型和位置度量公式获得增强的词向量表示;在上下文编码模型方面,使用GRU-CNN网络提取文本语义特征。在SemEval2014 Task4数据集上的实验表明,提出的模型在Restaurant和Laptop领域中的准确率分别达到了85.54%和80.35%,证实了所提出模型的有效性。 展开更多
关键词 方面级情感分析 卷积神经网络 预训练词向量 位置函数 注意力机制
在线阅读 下载PDF
融合多阶段特征的中文命名实体识别模型
4
作者 杨先凤 范玥 +1 位作者 李自强 汤依磊 《计算机工程与设计》 北大核心 2025年第1期37-43,共7页
针对中文命名实体识别中未充分利用完整的文本表示和语句特征的问题,提出一种融合多阶段特征的中文命名实体识别模型(LM-CNER)。采用全局注意力机制文本融合字符级嵌入与其预训练词向量,同时获取字符级特征和单词级特征。采用翻转长短... 针对中文命名实体识别中未充分利用完整的文本表示和语句特征的问题,提出一种融合多阶段特征的中文命名实体识别模型(LM-CNER)。采用全局注意力机制文本融合字符级嵌入与其预训练词向量,同时获取字符级特征和单词级特征。采用翻转长短时记忆网络(Re-LSTM)进行上下文特征提取,采用多头自注意力机制进行句法分析,并将二者进行拼接。使用条件随机场作为解码器,得到命名实体识别结果。在微博和简历两个数据集上的实验结果表明,该模型能够获取更加准确的文本表示和语句特征,提升模型的实体识别效果。 展开更多
关键词 命名实体识别 翻转长短时记忆网络 注意力机制 编码器 预训练词向量 多阶段特征 条件随机场
在线阅读 下载PDF
深层差异特征增强的机器翻译自动评价
5
作者 支思威 李茂西 +1 位作者 吴水秀 陈有德 《中文信息学报》 CSCD 北大核心 2024年第10期46-53,共8页
机器翻译自动评价任务将机器翻译系统输出译文与人工参考译文进行对比定量计算翻译质量,在机器翻译的研究和应用中发挥着重要作用。当前主流的方法是使用预训练上下文语言模型表征机器翻译和人工参考译文,将两者的表征向量直接拼接输入... 机器翻译自动评价任务将机器翻译系统输出译文与人工参考译文进行对比定量计算翻译质量,在机器翻译的研究和应用中发挥着重要作用。当前主流的方法是使用预训练上下文语言模型表征机器翻译和人工参考译文,将两者的表征向量直接拼接输入前馈神经网络层以预测翻译质量;它没有在统一语义空间对两者之间的差异进行显式建模。该文提出基于深层差异特征增强的机器翻译自动评价方法,使用多头注意力机制深层抽象机器翻译和人工参考译文,利用两者在统一语义空间的差异特征增强当前最先进的自动评价方法UniTE_UP,将它们抽取的特征进行深层交互,以对机器翻译和人工参考译文之间的差异进行直接显式建模。在WMT'21机器翻译自动评价基准数据集上的实验结果表明,深层差异特征增强的自动评价方法能有效提高机器翻译自动评价与人工评价的相关性,消融实验和深入的实验分析进一步揭示了深层差异特征的有效性。 展开更多
关键词 机器翻译 自动评价 多头注意力 训练上下文向量 差异特征
在线阅读 下载PDF
基于迁移学习的个性化循环神经网络语言模型 被引量:7
6
作者 徐萍 吴超 +3 位作者 胡峰俊 吴凡 林建伟 刘静静 《南京理工大学学报》 EI CAS CSCD 北大核心 2018年第4期401-408,共8页
针对在小数据集上开发个性化语言模型仍存在的障碍,提出基于迁移学习的个性化循环神经网络语言模型。设计了基于预训练词向量、预训练电影剧本数据集、基于参数微调和特征提取分类器的迁移学习训练模式,在小数据集上建立了具有较高辨识... 针对在小数据集上开发个性化语言模型仍存在的障碍,提出基于迁移学习的个性化循环神经网络语言模型。设计了基于预训练词向量、预训练电影剧本数据集、基于参数微调和特征提取分类器的迁移学习训练模式,在小数据集上建立了具有较高辨识度的个性化语言模型,降低了模型的困惑度,改进了模型的性能。模型的实验以电视剧Seinfeld角色为基础。结果表明:该模型在特定角色测试数据集上的困惑度比其他角色数据集平均低17.65%,证明其已经学会了该角色的个性化风格;迁移学习使得模型最低困惑度平均降低了36.38%,较好地解决了基于小数据集开发个性化语言模型存在的障碍问题。 展开更多
关键词 语言模型 个性化 循环神经网络 迁移学习 小数据集 预训练词向量
在线阅读 下载PDF
基于注意力卷积神经网络的中文虚假评论检测 被引量:2
7
作者 吴正清 曹晖 刘宝锴 《广西师范大学学报(自然科学版)》 CAS 北大核心 2023年第5期26-36,共11页
针对现有的虚假评论检测方法未充分利用虚假评论文本特征这一问题,本文提出一种基于多层注意力机制的卷积神经网络模型。首先,使用多种预训练词向量初始化词嵌入层,并进行复值位置编码;然后,将经过多种卷积核卷积得到的多种特征映射依... 针对现有的虚假评论检测方法未充分利用虚假评论文本特征这一问题,本文提出一种基于多层注意力机制的卷积神经网络模型。首先,使用多种预训练词向量初始化词嵌入层,并进行复值位置编码;然后,将经过多种卷积核卷积得到的多种特征映射依次通过嵌入用户特征的通道级和卷积核级的注意力层,根据特征重要程度分配不同权重;最后,将拟合的评论文本特征表示进行Softmax分类。实验结果表明,与诸多主流优秀神经网络模型相比,本文模型准确率和F1值分别提高4.74和3.86个百分点。 展开更多
关键词 虚假评论检测 注意力机制 卷积神经网络 预训练词向量
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部