-
题名Hadoop云构架的智能调度无损集群压缩技术
被引量：7
- 1
-
-
作者
屈志坚
郭亮
陈秋琳
蒋俊俊
-
机构
华东交通大学电气与电子工程学院
北京太格时代自动化系统设备有限公司
-
出处
《电力系统自动化》
EI
CSCD
北大核心
2013年第18期93-98,共6页
-
基金
国家自然科学基金资助项目(51267005)
江西省教育厅科学技术研究项目(GJJ13350)~~
-
文摘
针对智能调度系统中的大数据集信息压缩处理问题,利用Hadoop框架和Map/Reduce分布式编程模型,提出了一种基于云架构的无损集群压缩新方法。对字典编码和统计编码的无损压缩进行了分类比较,利用云计算节点的集群网络配置方式进行调度主机和监控服务器的部署,在集群数据节点中融入无损压缩,建立调度监控信息的无损集群压缩实验环境。利用调度端的断面量测记录进行测试研究,得出:对于相同断面记录集的无损压缩,BZip2格式的集群压缩比优于Deflate和Gzip格式。对不同断面记录集的BZip2集群压缩结果表明:在断面记录超过3×106以上时,压缩比达到81.1%,相对传统无损压缩方法提高30%以上。
-
关键词
智能调度
Hadoop构架
云计算节点
无损压缩
压缩比
-
Keywords
intelligent dispatching
Hadoop framework
cloud computing node
lossless compression
compression ratio
-
分类号
TM76
[电气工程—电力系统及自动化]
-
