期刊文献+
共找到5篇文章
< 1 >
每页显示 20 50 100
基于对象存储的负载均衡存储策略 被引量:6
1
作者 熊安萍 刘进进 邹洋 《计算机工程与设计》 CSCD 北大核心 2012年第7期2678-2682,2689,共6页
对象存储文件系统中将大数据文件分片存储到多个存储节点上,以获取更好的并行I/O性能,提高系统吞吐率。现有对象存储文件系统的存储策略并未充分考虑存储对象本身负载的动态变化,不利于提高系统资源利用率。针对此问题,考虑存储对象的... 对象存储文件系统中将大数据文件分片存储到多个存储节点上,以获取更好的并行I/O性能,提高系统吞吐率。现有对象存储文件系统的存储策略并未充分考虑存储对象本身负载的动态变化,不利于提高系统资源利用率。针对此问题,考虑存储对象的空间及I/O等负载实时变化,提出了一种简单、灵活、高效的负载均衡存储策略,并对该策略进行了实现。实验结果表明,该策略能有效提高对象存储系统资源的利用率和吞吐率,保证对象存储文件系统高效的读写性能。 展开更多
关键词 文件系统 存储对象 存储策略 负载均衡 性能
在线阅读 下载PDF
基于MapReduce的并行频繁项集挖掘算法研究 被引量:8
2
作者 刘卫明 张弛 毛伊敏 《计算机应用研究》 CSCD 北大核心 2021年第3期689-695,共7页
针对并行MRPrePost(parallel prepost algorithm based on MapReduce)频繁项集挖掘算法在大数据环境存在运行时间长、内存占用量大和节点负载不均衡的问题,提出一种基于DiffNodeset的并行频繁项集挖掘算法(parallel frequent itemsets m... 针对并行MRPrePost(parallel prepost algorithm based on MapReduce)频繁项集挖掘算法在大数据环境存在运行时间长、内存占用量大和节点负载不均衡的问题,提出一种基于DiffNodeset的并行频繁项集挖掘算法(parallel frequent itemsets mining using DiffNodeset,PFIMD)。该算法首先采用一种数据结构DiffNodeset,有效地避免了N-list基数过大的问题;此外提出一种双向比较策略(2-way comparison strategy,T-wcs),以减少两个DiffNodeset在连接过程中的无效计算,极大地降低了算法时间复杂度;最后考虑到集群负载对并行算法效率的影响,进一步提出了一种基于动态分组的负载均衡策略(load balancing strategy based on dynamic grouping,LBSBDG),该策略通过将频繁1项集F-list中的每项进行均匀分组,降低了集群中每个计算节点上PPC-Tree树的规模,进而减少了先序后序遍历PPC-Tree树所需的时间。实验结果表明,该算法在大数据环境下进行频繁项集挖掘具有较好的效果。 展开更多
关键词 DiffNodeset数据结构 MAPREDUCE T-wcs策略 LBSBDG策略 频繁项集挖掘
在线阅读 下载PDF
基于大数据的并行化深度卷积神经网络优化算法 被引量:4
3
作者 毛伊敏 张瑞朋 曹文梁 《计算机应用研究》 CSCD 北大核心 2021年第5期1416-1421,共6页
针对并行DCNN算法在大数据环境下网络冗余参数过多、收敛速度慢和并行效率低的问题,提出了一种并行化深度卷积神经网络优化算法——PDCNNO(parallel deep convolutional neural networks optimization algorithm)。首先,该算法设计了基... 针对并行DCNN算法在大数据环境下网络冗余参数过多、收敛速度慢和并行效率低的问题,提出了一种并行化深度卷积神经网络优化算法——PDCNNO(parallel deep convolutional neural networks optimization algorithm)。首先,该算法设计了基于特征图的剪枝策略(PFM),预训练网络,获得压缩后的网络,有效减少了冗余参数,降低了DCNN训练时间和空间复杂度;其次,设计了修正正割线的共轭梯度法(CGMSE),获取局部分类结果,实现了共轭梯度法的快速收敛,提高了网络的收敛速度;最后,在reduce阶段提出了控制负载率的负载均衡策略(LBRLA),获取全局分类结果,实现了数据的快速均匀分组,从而提高了并行系统的加速比。实验表明,该算法不仅降低了DCNN在大数据环境下训练的时间和空间复杂度,而且提高了并行系统的并行化性能。 展开更多
关键词 DCNN算法 MAPREDUCE框架 CGMSE PFM策略 lbrla策略
在线阅读 下载PDF
大数据下基于特征图的深度卷积神经网络 被引量:5
4
作者 毛伊敏 张瑞朋 高波 《计算机工程与应用》 CSCD 北大核心 2022年第15期110-116,共7页
针对大数据环境下DCNN(deep convolutional neural network)算法中存在网络冗余参数过多、参数寻优能力不佳和并行效率低的问题,提出了大数据环境下基于特征图和并行计算熵的深度卷积神经网络算法MR-FPDCNN(deep convolutional neural n... 针对大数据环境下DCNN(deep convolutional neural network)算法中存在网络冗余参数过多、参数寻优能力不佳和并行效率低的问题,提出了大数据环境下基于特征图和并行计算熵的深度卷积神经网络算法MR-FPDCNN(deep convolutional neural network algorithm based on feature graph and parallel computing entropy using MapReduce)。该算法设计了基于泰勒损失的特征图剪枝策略FMPTL(feature map pruning based on Taylor loss),预训练网络,获得压缩后的DCNN,有效减少了冗余参数,降低了DCNN训练的计算代价。提出了基于信息共享搜索策略ISS(information sharing strategy)的萤火虫优化算法IFAS(improved firefly algorithm based on ISS),根据“IFAS”算法初始化DCNN参数,实现DCNN的并行化训练,提高网络的寻优能力。在Reduce阶段提出了基于并行计算熵的动态负载均衡策略DLBPCE(dynamic load balancing strategy based on parallel computing entropy),获取全局训练结果,实现了数据的快速均匀分组,从而提高了集群的并行效率。实验结果表明,该算法不仅降低了DCNN在大数据环境下训练的计算代价,而且提高了并行系统的并行化性能。 展开更多
关键词 DCNN算法 MAPREDUCE框架 FMPTL策略 IFAS算法 DLBPCE策略
在线阅读 下载PDF
基于内容的网络集群负载平衡算法模型 被引量:1
5
作者 谢红薇 谢显宇 《计算机应用与软件》 CSCD 2010年第1期131-133,144,共4页
在论述网络集群负载平衡算法的基础上,基于内容分类的方法,给出基于内容的网络集群负载平衡算法三元组模型。请求分类有利于提高缓存命中率,调度机制说明如何适当地转发请求,动态反馈避免将请求分配到重载的服务器,进而分析了调度机制... 在论述网络集群负载平衡算法的基础上,基于内容分类的方法,给出基于内容的网络集群负载平衡算法三元组模型。请求分类有利于提高缓存命中率,调度机制说明如何适当地转发请求,动态反馈避免将请求分配到重载的服务器,进而分析了调度机制的八种调度策略和六种基于内容的调度转发技术。该模型利用缓存内容来提高集群的吞吐量和响应时间,可部署多种服务类型。 展开更多
关键词 负载平衡 基于内容转发 调度策略 网络集群
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部