期刊文献+
共找到3篇文章
< 1 >
每页显示 20 50 100
马尔可夫决策过程和先验控制向量在弱约束自然语言生成中的应用 被引量:3
1
作者 刘奇 马娆 俞凯 《计算机学报》 EI CAS CSCD 北大核心 2022年第2期289-301,共13页
自然语言生成是目前非常重要且具有挑战性的一类人工智能任务.长短时记忆(Long Short-Term Memory,LSTM)语言模型是目前最为主流的自然语言生成模型.但是,LSTM语言模型的训练准则是词语级别的交叉熵,这会导致暴露偏差问题.此外,一般自... 自然语言生成是目前非常重要且具有挑战性的一类人工智能任务.长短时记忆(Long Short-Term Memory,LSTM)语言模型是目前最为主流的自然语言生成模型.但是,LSTM语言模型的训练准则是词语级别的交叉熵,这会导致暴露偏差问题.此外,一般自然语言生成任务的评测指标是序列级别的BLEU分数或者词错误率,这与训练使用的交叉熵准则也不匹配.在本文中,我们使用马尔可夫决策过程重定义了自然语言生成问题,并通过从训练数据中提取的先验控制向量来指导生成过程.先验控制向量可以视作是对序列空间的一种先验划分的抽象,通过在自然语言生成中引入先验控制向量,我们可以更好的约束自然语言生成的空间.再通过马尔可夫决策过程的定义,我们可以使用策略梯度算法来直接使用测试使用的BLEU分数来代替交叉熵训练LSTM网络.在多个数据集上的实验显示本文提出的方法相比于普通使用LSTM语言模型的基线系统在BLEU分数上有大约绝对2%~3%的提升. 展开更多
关键词 自然语言生成 马尔可夫决策过程 先验控制向量 策略梯度算法 深度强化学习
在线阅读 下载PDF
EB-GAN:基于BiGAN的网络流量异常检测方法 被引量:11
2
作者 胡梦娜 何强 +3 位作者 贾俊铖 金映言 马标 那幸仪 《计算机应用与软件》 北大核心 2023年第6期303-309,共7页
网络入侵检测系统是网络安全的重要组成部分,被用来检测并防御各种外来攻击。作为入侵检测尤为重要的方法之一,传统的异常检测模型存在误报率高、性能差等问题。针对这些问题,提出一种网络流量异常检测模型Enhanced BiGAN(EB-GAN)。使用... 网络入侵检测系统是网络安全的重要组成部分,被用来检测并防御各种外来攻击。作为入侵检测尤为重要的方法之一,传统的异常检测模型存在误报率高、性能差等问题。针对这些问题,提出一种网络流量异常检测模型Enhanced BiGAN(EB-GAN)。使用BiGAN基本网络框架学习真实复杂数据的分布;GAN的鉴别器使用双向长短期记忆网络捕捉序列分布的时间相关性,添加注意力机制使模型更有效地找到输入数据与当前输出数据之间的相关信息,从而提高检测率;结合WGAN和混合增强GAN的损失函数使得模型训练收敛更快。利用KDDCUP1999数据集对该方法进行了实验评价。实验结果表明,该方法优于对比的流量异常检测方法。 展开更多
关键词 异常检测 生成对抗网络 长短期记忆网络 注意力机制
在线阅读 下载PDF
一种机器学习与相变之间的新型映射
3
作者 龙飞 黄琨 李峰 《中国科学技术大学学报》 CAS CSCD 北大核心 2020年第1期18-28,共11页
相变是一个重要的物理概念,它代表着从一个热力学状态到另一个热力学状态的转变.它在凝聚态物理、粒子物理、天体物理等物理领域有着广泛的应用.机器学习是研究通过经验自动改进的计算机算法.近年来,随着深入学习的成功,它也是一个非常... 相变是一个重要的物理概念,它代表着从一个热力学状态到另一个热力学状态的转变.它在凝聚态物理、粒子物理、天体物理等物理领域有着广泛的应用.机器学习是研究通过经验自动改进的计算机算法.近年来,随着深入学习的成功,它也是一个非常活跃的研究领域.于是从视觉上证明了监督学习的训练过程与阶段过渡过程十分相似,有可能确定相变理论的核心概念,如对称性断裂或机器学习中的临界点.以MNIST数据集的伊辛模型和自动编码器为例,说明了机器学习训练过程中的“相变”.这种介于机器学习和相变之间的新映射,为理解机器学习带来了新的方法,并使从物理角度解决机器学习问题成为可能. 展开更多
关键词 相变 机器学习 伊辛模型 自动编码器 对称性断裂
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部