期刊文献+
共找到4篇文章
< 1 >
每页显示 20 50 100
单词嵌入——自然语言的连续空间表示 被引量:10
1
作者 陈恩红 邱思语 +2 位作者 许畅 田飞 刘铁岩 《数据采集与处理》 CSCD 北大核心 2014年第1期19-29,共11页
单词嵌入是指运用机器学习的方法,将位于高维离散空间(维数为词典单词数目)中的每个单词映射到低维连续空间的实数向量的技术。在很多文本处理的任务中,单词嵌入提供了更好的语义级别的单词特征表示,从而为文本处理任务带来了诸多便利... 单词嵌入是指运用机器学习的方法,将位于高维离散空间(维数为词典单词数目)中的每个单词映射到低维连续空间的实数向量的技术。在很多文本处理的任务中,单词嵌入提供了更好的语义级别的单词特征表示,从而为文本处理任务带来了诸多便利。同时,大数据时代海量的未标注文本数据,以及以深度学习为代表的机器学习技术的发展使高效的单词嵌入技术成为可能。本文将给出单词嵌入的定义以及实际意义,同时将综述目前单词嵌入技术的几种典型方法,包括基于神经网络的方法、基于受限玻尔兹曼机的方法以及基于单词与上下文共生矩阵分解的方法。本文将详细介绍不同模型的数学定义、物理意义以及训练方法,并给出他们之间的比较。 展开更多
关键词 机器学习 自然语言 单词嵌入 文本处理
在线阅读 下载PDF
单词嵌入表示学习综述
2
作者 刘建伟 高悦 《控制理论与应用》 EI CAS CSCD 北大核心 2022年第7期1171-1193,共23页
单词嵌入表示学习是自然语言处理(NLP)中最基本但又很重要的研究内容,是所有后续高级语言处理任务的基础.早期的单词独热表示忽略了单词的语义信息,在应用中常常会遇到数据稀疏的问题,后来随着神经语言模型(NLM)的提出,单词被表示为低... 单词嵌入表示学习是自然语言处理(NLP)中最基本但又很重要的研究内容,是所有后续高级语言处理任务的基础.早期的单词独热表示忽略了单词的语义信息,在应用中常常会遇到数据稀疏的问题,后来随着神经语言模型(NLM)的提出,单词被表示为低维实向量,有效地解决了数据稀疏的问题.单词级的嵌入表示是最初的基于神经网络语言模型的输入表示形式,后来人们又从不同角度出发,提出了诸多变种.本文从模型涉及到的语种数的角度出发,将单词嵌入表示模型分为单语言单词嵌入表示模型和跨语言单词嵌入表示模型两大类.在单语言中,根据模型输入的颗粒度又将模型分为字符级、单词级、短语级及以上的单词嵌入表示模型,不同颗粒度级别的模型的应用场景不同,各有千秋.再将这些模型按照是否考虑上下文信息再次分类,单词嵌入表示还经常与其它场景的模型结合,引入其他模态或关联信息帮助学习单词嵌入表示,提高模型的表现性能,故本文也列举了一些单词嵌入表示模型和其它领域模型的联合应用.通过对上述模型进行研究,将每个模型的特点进行总结和比较,在文章最后给出了未来单词嵌入表示的研究方向和展望. 展开更多
关键词 单词嵌入表示学习 神经网络 语言模型 跨语言 双向编码器表示 信息瓶颈
在线阅读 下载PDF
APF-Kitty:基于单词嵌入的新型专有协议模糊测试工具 被引量:1
3
作者 付光远 刘津霖 +1 位作者 蔡艳宁 李海龙 《科学技术与工程》 北大核心 2017年第21期82-88,共7页
针对工业控制系统协议组成复杂,存在大量专有协议的特点,将协议逆向工程与模糊测试技术相结合。并针对传统多序列比对算法存在的问题,提出了利用单词嵌入进行协议逆向分析的新思路,并且通过开源模糊测试框架Kitty构造出新型的模糊测试工... 针对工业控制系统协议组成复杂,存在大量专有协议的特点,将协议逆向工程与模糊测试技术相结合。并针对传统多序列比对算法存在的问题,提出了利用单词嵌入进行协议逆向分析的新思路,并且通过开源模糊测试框架Kitty构造出新型的模糊测试工具APF-Kitty。通过实验分析证明了该方法可以有效地对专有协议进行逆向分析和模糊测试。最后,讨论了该方法存在的不足和下一步研究方向。 展开更多
关键词 专有协议 单词嵌入 模糊测试 协议逆向工程
在线阅读 下载PDF
结合主题词嵌入和注意力机制的主题模型 被引量:1
4
作者 覃婷婷 刘峥 陈可佳 《计算机工程》 CAS CSCD 北大核心 2020年第11期104-108,共5页
社交软件的普及使得从海量数字文本中挖掘有效信息成为一个热点问题,经典主题模型LDA和LSA均基于单词共现来捕获主题信息,忽略了单词间的位置信息。为此,设计主题与单词间的注意力机制并将主题信息和单词信息融入到LDA框架中,构建一种... 社交软件的普及使得从海量数字文本中挖掘有效信息成为一个热点问题,经典主题模型LDA和LSA均基于单词共现来捕获主题信息,忽略了单词间的位置信息。为此,设计主题与单词间的注意力机制并将主题信息和单词信息融入到LDA框架中,构建一种主题模型JEA-LDA。该模型通过单词与主题间的注意力机制将单词信息和主题信息融合为特征表示,用于LDA模型的主题提取。实验结果表明,相比LDA、DMM等模型,该模型的主题一致性和分类性能均较高,能够取得更好的主题提取效果。 展开更多
关键词 主题模型 单词嵌入 主题嵌入 注意力机制 LDA模型
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部