-
题名分布式数据库聚合计算性能优化
被引量：10
- 1
-
-
作者
肖子达
朱立谷
冯东煜
张迪
-
机构
中国传媒大学计算机学院
安防大数据处理与应用北京市重点实验室
-
出处
《计算机应用》
CSCD
北大核心
2017年第5期1251-1256,共6页
-
基金
国家自然科学基金资助项目(61730063)~~
-
文摘
针对分布式数据库在分析应用方面的聚合计算性能较低的问题,以MongoDB数据库为研究实例,提出了一种基于片键和索引的数据库性能提升方法。首先,通过分析业务特征指导选择的片键字段,该字段需要保证数据在分片节点上的均匀布局;其次,通过研究分布式数据库的索引效率,利用删除查询字段索引的方法进一步提升计算性能,该方法能充分利用硬件资源提高聚合计算的性能。实验结果表明,采用高基数粒度的分片片键能够让数据在集群上均匀地分布在各个数据节点上,而舍弃索引使用全表查询能够有效提高聚合计算的速度,聚合计算优化方法能够有效提高聚合计算的性能。
-
关键词
NO
SQL
Mongo
DB
MAPREDUCE
聚合计算
性能优化
-
Keywords
Not Only SQL （NoSQL）
MongoDB
MapReduee
aggregation computing
performance optimization
-
分类号
TP316
[自动化与计算机技术—计算机软件与理论]
-
-
题名一种MongoDB集群数据布局优化方法研究
被引量：7
- 2
-
-
作者
冯东煜
朱立谷
肖子达
刘迪
-
机构
中国传媒大学计算机学院
安防大数据处理与应用北京市重点实验室
-
出处
《计算机工程与应用》
CSCD
北大核心
2017年第17期77-84,共8页
-
基金
国家自然科学基金(No.6137006)
-
文摘
传统关系型数据库在处理大规模数据应用时暴露出许多难以克服的问题,No SQL以独有的特点在大数据背景下得到广泛应用。选择快递业寄递大数据应用为背景,研究Mongo DB分片集群的数据布局优化方法。介绍基于Mongo DB分片集群的快递寄递数据离线分析系统。根据快递运单字段特点研究Mongo DB片键策略,提出基于分片标签的连续均匀数据条带化数据布局方法。对提出的数据布局方法进行测试,结果表明采用该方法的Mongo DB集群数据均匀分布和统计分析性能均达到较高水平,并且通过扩展集群分片数目可以进一步提升系统性能。
-
关键词
寄递数据
MONGODB
片键策略
分组聚合
-
Keywords
posting and delivering data
MongoDB
shard-key strategy
grouping and aggregation
-
分类号
TP316
[自动化与计算机技术—计算机软件与理论]
-
-
题名基于强挂起弱预测机制的负载均衡模型研究
被引量：2
- 3
-
-
作者
刘迪
朱立谷
张雷
冯东煜
-
机构
中国传媒大学
安防大数据处理与应用北京市重点实验室
-
出处
《计算机工程与应用》
CSCD
北大核心
2017年第10期90-95,123,共7页
-
基金
国家自然科学基金项目(No.6137006)
-
文摘
大数据时代的快速发展和大数据战略的明确提出,使得Web服务器集群将面临更加复杂和严峻的负载挑战。传统的负载均衡算法存在着明显的局限性。提出了一种基于强挂起弱预测机制的负载均衡模型,该模型利用强挂起机制和基于层次分析的三次指数平滑预测算法进行负载均衡动态调度。实验结果表明该模型在系统瞬时性能异常、高并发和重负载交互情况下的负载均衡效果优于传统负载均衡算法。
-
关键词
WEB服务器集群
负载均衡
强挂起弱预测
层次分析法
三次指数平滑法
-
Keywords
Web server cluster
load-balancing
Strong Suspend And Weak Forecast(SSAWF)
Analytic Hierarchy Process (AHP)
cubic exponential smoothing method
-
分类号
TP301
[自动化与计算机技术—计算机系统结构]
-
