-
题名基于忆阻循环神经网络的层次化状态正则变分自编码器
- 1
-
-
作者
胡小方
杨涛
-
机构
西南大学人工智能学院
类脑计算与智能控制重庆市重点实验室
-
出处
《电子与信息学报》
EI
CSCD
北大核心
2023年第2期689-697,共9页
-
基金
国家自然科学基金(61976246)
重庆市自然科学基金(cstc2020jcyj-msxm X0385)。
-
文摘
变分自编码器(VAE)作为一个功能强大的文本生成模型受到越来越多的关注。然而,变分自编码器在优化过程中容易出现后验崩溃,即忽略潜在变量,退化为一个自编码器。针对这个问题,该文提出一种新的变分自编码器模型,通过层次化编码和状态正则方法,可以有效缓解后验崩溃,且相较于基线模型具有更优的文本生成质量。在此基础上,基于纳米级忆阻器,将提出的变分自编码器模型与忆阻循环神经网络(RNN)结合,设计一种基于忆阻循环神经网络的硬件实现方案,即层次化变分自编码忆组神经网络(HVAE-MNN),探讨模型的硬件加速。计算机仿真实验和结果分析验证了该文模型的有效性与优越性。
-
关键词
变分自编码器
忆阻器
忆阻循环网络
文本生成
-
Keywords
Variational AutoEncoder(VAE)
Memristor
Memristor recurrent network
Text generation
-
分类号
TN918.3
[电子电信—通信与信息系统]
TN601
[电子电信—电路与系统]
-
