-
题名基于多源信息融合的分布式词表示学习
被引量：4
- 1
-
-
作者
冶忠林
赵海兴
张科
朱宇
-
机构
青海师范大学计算机学院
陕西师范大学计算机科学学院
青海省藏文信息处理与机器翻译重点实验室
藏文信息处理教育部重点实验室
-
出处
《中文信息学报》
CSCD
北大核心
2019年第10期18-30,共13页
-
基金
国家自然科学基金(11661069,61763041,61663041)
长江学者和创新研究团队项目(IRT_15R40)
+1 种基金
中央高校基本科研业务费专项资金(2017TS045)
青海省藏文信息处理与机器翻译重点实验室项目(2013-Z-Y17)
-
文摘
分布式词表示学习旨在用神经网络框架训练得到低维、压缩、稠密的词语表示向量。然而,这类基于神经网络的词表示模型有以下不足:(1)罕见词由于缺乏充分上下文训练数据,训练所得的罕见词向量表示不能充分地反映其在语料中的语义信息;(2)中心词语的反义词出现于上下文时,会使意义完全相反的词却赋予更近的空间向量表示;(3)互为同义词的词语均未出现于对方的上下文中,致使该类同义词学习得到的表示在向量空间中距离较远。基于以上三点,该文提出了一种基于多源信息融合的分布式词表示学习算法(MSWE),主要做了4个方面的改进:(1)通过显式地构建词语的上下文特征矩阵,保留了罕见词及其上下文词语在语言训练模型中的共现信息可以较准确地反映出词语结构所投影出的结构语义关联;(2)通过词语的描述或解释文本,构建词语的属性语义特征矩阵,可有效地弥补因为上下文结构特征稀疏而导致的训练不充分;(3)通过使用同义词与反义词信息,构建了词语的同义词与反义词特征矩阵,使得同义词在词向量空间中具有较近的空间距离,而反义词则在词向量空间中具有较远的空间距离;(4)通过诱导矩阵补全算法融合多源特征矩阵,训练得到词语低维度的表示向量。实验结果表明,该文提出的MSWE算法能够有效地从多源词语特征矩阵中学习到有效的特征因子,在6个词语相似度评测数据集上表现出了优异的性能。
-
关键词
词表示学习
词表示
词嵌入
词向量
词特征学习
-
Keywords
word representation learning
word representation
word embedding
word vector
word feature learning
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名基于描述约束的词表示学习
被引量：3
- 2
-
-
作者
冶忠林
赵海兴
张科
朱宇
-
机构
陕西师范大学计算机科学学院
青海师范大学藏文信息处理与机器翻译省级重点实验室
青海师范大学藏文信息处理教育部重点实验室
青海师范大学计算机学院
-
出处
《中文信息学报》
CSCD
北大核心
2019年第4期29-36,共8页
-
基金
国家自然科学基金(61663041
61763041)
+2 种基金
长江学者和创新研究团队项目(IRT_15R40)
中央高校基本科研业务费专项资金(2017TS045)
藏文信息处理与机器翻译重点实验室(2013-Z-Y17)
-
文摘
词语作为语言模型中的基本语义单元,在整个语义空间中与其上下文词语具有很强的关联性。同样,在语言模型中,通过上下文词可判断出当前词的含义。词表示学习是通过一类浅层的神经网络模型将词语和上下文词之间的关联关系映射到低维度的向量空间中。然而,现有的词表示学习方法往往仅考虑了词语与上下文词之间的结构关联,词语本身所蕴含的内在语义信息却被忽略。因此,该文提出了DEWE词表示学习算法,该算法可在词表示学习的过程中不仅考量词语与上下文之间的结构关联,同时也将词语本身的语义信息融入词表示学习模型,使得训练得到的词表示既有结构共性也有语义共性。实验结果表明,DEWE算法是一种切实可行的词表示学习方法,相较于该文使用的对比算法,DEWE在6类相似度评测数据集上具有优异的词表示学习性能。
-
关键词
词表示学习
语义嵌入
词表示联合模型
词嵌入
词语结构矩阵
-
Keywords
word representation learning
semantic embedding
word representation joint model
word embedding
word structure matrix
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名基于稳健设计的SGNS算法的超参数调优方法
被引量：1
- 3
-
-
作者
牛倩
曹学飞
王瑞波
李济洪
-
机构
山西大学软件学院
-
出处
《计算机应用研究》
CSCD
北大核心
2021年第2期510-516,521,共8页
-
基金
国家自然科学基金青年基金资助项目(61806115,61603228)。
-
文摘
通常给定超参数的若干取值选取性能最大的为最优组合(称为直接选优法),但是此方法的稳健性差。为此,提出了一种基于稳健设计的超参数调优方法(称为稳健调优法)。具体地,以SGNS算法中的超参数调优为例,在词语推断任务上实验并得出:经方差分析得到SGNS算法中的七个超参数中的五个对算法预测性能有显著影响,确定为主控因子,其余两个确定为噪声因子,且主控因子中有三个对性能估计的方差有显著影响,因此,调优中仅从期望最大来直接选优是不合理的;稳健调优法与直接选优法两者在预测性能上没有显著差异,但稳健调优法对噪声因子具有较好的稳健性。稳健调优法对一般的深度神经网络的调参有实际的借鉴意义。
-
关键词
稳健设计
信噪比
SGNS算法
超参数调优
词向量表示学习
-
Keywords
robust design
signal to noise ratio
algorithm of skip-gram with negative sample
tuning method of hyper-parameters
word embedding
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
