-
题名基于扩散方法的分布式随机变分推断算法
被引量：2
- 1
-
-
作者
付维明
秦家虎
朱英达
-
机构
中国科学技术大学自动化系
-
出处
《自动化学报》
EI
CAS
CSCD
北大核心
2021年第1期92-99,共8页
-
基金
国家自然科学基金(61873252,61922076)
霍英东教育基金会高等院校青年教师基金(161059)资助。
-
文摘
分布式网络上的聚类、估计或推断具有广泛的应用,因此引起了许多关注.针对已有的分布式变分贝叶斯(Variational Bayesian,VB)算法效率低,可扩展性差的问题,本文借用扩散方法提出了一种新的分布式随机变分推断(Stochastic variational inference,SVI)算法,其中我们选择自然梯度法进行参数本地更新并选择对称双随机矩阵作为节点间参数融合的系数矩阵.此外,我们还为所提出的分布式SVI算法提出了一种对异步网络的适应机制.最后,我们在伯努利混合模型(Bernoulli mixture model,BMM)和隐含狄利克雷分布(Latent Dirichlet allocation,LDA)模型上测试所提出的分布式SVI算法的可行性,实验结果显示其在许多方面的性能优于集中式SVI算法.
-
关键词
分布式算法
随机变分推断
扩散方法
异步网络
主题模型
-
Keywords
Distributed algorithm
stochastic variational inference(SVI)
diffusion method
asynchronous network
topic mode
-
分类号
O212
[理学—概率论与数理统计]
-
-
题名基于不确定性的多元时间序列分类算法研究
被引量：1
- 2
-
-
作者
张旭
张亮
金博
张红哲
-
机构
大连理工大学机械工程学院
东北财经大学国际商学院
大连理工大学创新创业学院
-
出处
《自动化学报》
EI
CAS
CSCD
北大核心
2023年第4期790-804,共15页
-
基金
国家自然科学基金(61772110)
辽宁省教育厅科学研究经费(LJKZ1045)
上海市卫生和计划生育委员会科研课题(20184Y0247)资助。
-
文摘
多元时间序列(Multivariate time series,MTS)分类是许多领域中的重要问题,准确的分类结果可以有效地帮助决策.当前的MTS分类算法在个体的表征学习阶段难以自动建模多元变量之间复杂的交互关系,并且无法评估分类结果的可信度,这会导致模型性能受限,以及缺乏具备统计意义的可靠性解释.本文提出了一种基于不确定性的多元时间序列分类算法,变分贝叶斯共享图神经网络,即VBSGNN(Variational Bayes shared graph neural network).首先通过图神经网络(Graph neural network,GNN)提取多元变量之间的交互特征,然后利用贝叶斯神经网络(Bayesian neural network,BNN)为预测过程引入了不确定性.最后在10个公开MTS数据集上进行了算法实验,并与当前提出的7类算法进行了比较,结果表明VBSGNN可有效学习多元变量之间的交互关系,提升了分类效果,并使得模型具备一定的可靠性评估能力.
-
关键词
多元时间序列预测
图神经网络
不确定性
随机变分推断
贝叶斯神经网络
-
Keywords
Multivariate time series prediction
graph neural network(GNN)
uncertainty
stochastic variational inference
Bayesian neural network(BNN)
-
分类号
O211.61
[理学—概率论与数理统计]
-
-
题名利用标注者相关性的深度生成式众包学习
被引量：1
- 3
-
-
作者
李绍园
韦梦龙
黄圣君
-
机构
南京航空航天大学计算机科学与技术学院/人工智能学院
-
出处
《软件学报》
EI
CSCD
北大核心
2022年第4期1274-1286,共13页
-
基金
国家自然科学基金(61906089)
江苏省基础研究计划(BK20190408)
中国博士后基金(2019TQ0152)。
-
文摘
传统监督学习需要训练样本的真实标记信息,而在很多情况下,真实标记并不容易收集.与之对比,众包学习从多个可能犯错的非专家收集标注,通过某种融合方式估计样本的真实标记.注意到现有深度众包学习工作对标注者相关性建模不足,而非深度众包学习方面的工作表明,标注者相关性建模利用有助于改善学习效果.提出一种深度生成式众包学习方法,以结合深度神经网络优势及利用标注者相关性.该模型由深度神经网络分类器先验和标注生成过程组成,其中,标注生成过程通过引入各类别内标注者能力的混合模型以建模标注者相关性.为自适应地匹配数据及模型复杂度,实现了完全贝叶斯推断.基于结构变分自编码器的自然梯度随机变分推断技术,将共轭参数变分消息传递与神经网络参数随机梯度下降结合到统一框架,实现端到端的高效优化.在22个真实众包数据集上的实验结果验证了该方法的有效性.
-
关键词
众包学习
深度生成式模型
标注者相关性
贝叶斯
自然梯度随机变分推断
-
Keywords
crowdsourcing learning
deep generative model
worker correlations
Bayesian
natural-gradient stochastic variational inference
-
分类号
TP18
[自动化与计算机技术—控制理论与控制工程]
-
