-
题名基于HDFS的电力设备监测数据存储设计研究
被引量：2
- 1
-
-
作者
占永红
王东
吴丽莎
王淋漓
-
机构
国网安徽省电力公司安庆供电公司
-
出处
《能源与环保》
2017年第12期210-213,共4页
-
文摘
随着电网规模的日趋复杂以及电网规模的快速增长,电力生产与信息化有了深度的融合,电网监测数据变得日益庞大,电力设备在线监控系统的数据存储面临着巨大的挑战。针对电力设备监测数据存储存在的问题,采用HDFS对电力设备监测数据存储设计进行研究,研究了基于HDFS的电力设备监测数据存储系统构架,系统构架主要由计算层、数据接入和存储层组成;提出了一致性哈希存储算法,该算法优化了HDFS的数据分布策略;分析了HDFS数据块的尺寸优化,得出了负载均衡和数据块的关系;进行了HDFS性能基准测试,分析出监测数据规模与文件大小对集群I/O性能的影响,研究为实现高效、统一、安全的电力设备监控数据的存储提供一定借鉴意义。
-
关键词
HDFS
电力设备
监测数据存储设计
一致性哈希存储算法
I/O性能
-
Keywords
HDFS
power equipment
monitoring data storage
consistent hash storage algorithm
I/O performance
-
分类号
TN948.6
[电子电信—信号与信息处理]
-
-
题名MOLAP的数据存储设计与实现
- 2
-
-
作者
康志钢
黄厚宽
-
机构
北京交通大学计算机与信息技术学院
-
出处
《铁路计算机应用》
2004年第3期8-11,共4页
-
文摘
引入MOLAP的存储机制,自定义子立方体和块的概念,提出并实现了MOLAP中子立方体存储时块的两种存储方法,即直接多维数组存储和压缩多维数组存储。
-
关键词
MOLAP
数据存储设计
子立方体存储时块
直接多维数组存储
压缩多维数组存储
多维数据库
-
Keywords
MOLAP
sub-cube
chunk
direct multi-dimensions array store
compressed multi-dimensions array store
-
分类号
TP311.13
[自动化与计算机技术—计算机软件与理论]
-
-
题名基于Hadoop的高速公路联网收费稽查系统
被引量：4
- 3
-
-
作者
龙伟
陈志
万亚平
-
机构
南华大学
广西交通科学研究院
-
出处
《西部交通科技》
2014年第8期73-78,共6页
-
文摘
随着广西高速公路的大力建设和发展,高速公路车辆通行记录规模逐渐增大,同时各种逃费现象屡禁不止。文章提出创建基于Hadoop分布式平台的高速公路联网收费稽查系统,结合Hive数据仓库和联机处理方式,采用并行技术快速处理大规模数据,改进现有收费稽查系统的不足。通过实验对比分析,验证了该系统可快速实现对海量车辆信息的多维度、深层次的数据挖掘和统计分析。
-
关键词
高速公路
收费稽查
HADOOP
海量数据
分布式计算
数据仓库存储设计
-
Keywords
Expressway
Toll inspection
Hadoop
Massive data
Distributed computing
Data warehouse storage design
-
分类号
U495
[交通运输工程—交通运输规划与管理]
TP311.13
[自动化与计算机技术—计算机软件与理论]
-
