基于hadoop云平台的智能电网HDFS资源存储技术研究 被引量：10

1

作者 孟祥萍 周来 《电测与仪表》 北大核心 2014年第19期24-30,共7页

面对未来智能电网海量存储资源的管理困难、可靠性低、维护分布式数据成本高等难题,文章首先在Hadoop云计算平台基础上搭建HDFS(Hadoop Distributed File System),论证了其强大的数据存储性能,并通过实验发现HDFS在进一步提高存储性能... 面对未来智能电网海量存储资源的管理困难、可靠性低、维护分布式数据成本高等难题,文章首先在Hadoop云计算平台基础上搭建HDFS(Hadoop Distributed File System),论证了其强大的数据存储性能,并通过实验发现HDFS在进一步提高存储性能方面的诸多瓶颈——节点状态信息缺失、系统负载不均、存储效率下降等。随后考虑HDFS原始方案的弊端并给出完善数据节点状态信息、设定数据副本系数的HDFS架构改进方案,最后通过在仿真平台上的实验,有效地平衡了节点间的负载,显著提高了存储效率,同时增强了用户体验,证明了该策略提高HDFS系统存储性能的可行性。 展开更多

关键词 智能电网 数据存储 hadoop hdfs

在线阅读 下载PDF 职称材料

基于Hadoop的智能电网状态监测数据存储研究 被引量：51

2

作者 刘树仁 宋亚奇 +1 位作者 朱永利 王德文 《计算机科学》 CSCD 北大核心 2013年第1期81-84,共4页

智能电网需要收集海量设备状态监测数据,这对数据存储与查询提出了更高的要求。为处理这些海量数据,设计并实现了基于Hadoop技术的数据存储系统,包括Hadoop集群、存储客户端和查询客户端。通过基准测试、存储结果验证和查询性能分析,验... 智能电网需要收集海量设备状态监测数据,这对数据存储与查询提出了更高的要求。为处理这些海量数据,设计并实现了基于Hadoop技术的数据存储系统,包括Hadoop集群、存储客户端和查询客户端。通过基准测试、存储结果验证和查询性能分析,验证了该系统具有分布式海量存储及高效查询的优势,适合智能电网环境下设备状态监测数据的存储。 展开更多

关键词 hadoop hdfs MAPREDUCE 电力设备 状态监测 智能电网

在线阅读 下载PDF 职称材料

基于Hadoop的智能电网数据安全存储设计 被引量：45

3

作者 张少敏 李晓强 王保义 《电力系统保护与控制》 EI CSCD 北大核心 2013年第14期136-140,共5页

针对智能电网下海量数据的存储问题及数据保密性和完整性需求,分析了现有安全存储方案的特点,结合智能电网应用环境的特殊场合,设计了一种基于Hadoop的智能电网数据安全存储方案。该方案充分利用了HBase高性能优势和现代密码技术,将密... 针对智能电网下海量数据的存储问题及数据保密性和完整性需求,分析了现有安全存储方案的特点,结合智能电网应用环境的特殊场合,设计了一种基于Hadoop的智能电网数据安全存储方案。该方案充分利用了HBase高性能优势和现代密码技术,将密钥与密文的管理分离,具有安全性好、密钥管理方便及效率高等特点。开发了基于Hadoop的原型系统,对方案的时间开销进行了分析,并通过相关实验证明了方案的有效性和可行性。 展开更多

关键词 智能电网 云计算 hadoop 数据安全 安全存储

在线阅读 下载PDF 职称材料

基于hadoop云平台的智能电网MapReduce数据计算技术研究 被引量：10

4

作者 孟祥萍 周来 +1 位作者 王晖 纪秀 《电测与仪表》 北大核心 2015年第10期66-72,共7页

为应对未来智能电网海量数据信息带来的实时计算、分析等难题,文章首先在Hadoop云计算平台基础上搭建MapReduce框架,论证了其良好的数据计算性能,并通过实验发现MapReduce在进一步提高计算效率方面的诸多问题——任务调度不均、数据偏... 为应对未来智能电网海量数据信息带来的实时计算、分析等难题,文章首先在Hadoop云计算平台基础上搭建MapReduce框架,论证了其良好的数据计算性能,并通过实验发现MapReduce在进一步提高计算效率方面的诸多问题——任务调度不均、数据偏移、异构环境下适应性差等。随后考虑MapReduce原始调度方式的弊端并给出均衡数据映射、评估节点性能的MapReduce架构改进方案,并提出了动态匹配的调度算法(DMSA——Dynamic Matching Scheduling Algorithm),最后通过在仿真平台上的集群实验,减少了系统计算资源的消耗,缩短了运行时间,显著地提高了集群性能,同时增强了数据本地性,证明了该策略提高MapReduce计算效率的可行性。 展开更多

关键词 智能电网 数据计算 hadoop MAPREDUCE

在线阅读 下载PDF 职称材料

基于纠删码和动态副本策略的HDFS改进系统 被引量：10

5

作者 李晓恺 代翔 +1 位作者 李文杰 崔喆 《计算机应用》 CSCD 北大核心 2012年第8期2150-2153,2158,共5页

为了让Hadoop分布式文件系统(HDFS)达到更高的存储效率以及更加优化的负载均衡能力,针对HDFS的多副本存储技术提出了改进方案——Noah。Noah引入了编码和译码模块,对HDFS中的block进行编码分解,生成更多数量的数据分片(section),并随机... 为了让Hadoop分布式文件系统(HDFS)达到更高的存储效率以及更加优化的负载均衡能力,针对HDFS的多副本存储技术提出了改进方案——Noah。Noah引入了编码和译码模块,对HDFS中的block进行编码分解,生成更多数量的数据分片(section),并随机地分散保存到集群当中,替代原有系统的多副本容灾策略;在集群出现节点失效的情况下,通过收集与失效block相关的任意70%左右的section进行原始数据的恢复;同时根据分布式集群运行情况以及对副本数目需求的不同采用动态副本策略。通过相关的集群实验,表明Noah在容灾效率、负载均衡、存储成本以及安全性上对HDFS作了相应的优化。 展开更多

关键词 hadoop分布式文件系统 分布式存储 数据容灾 负载均衡 动态副本

在线阅读 下载PDF 职称材料

Hadoop大数据技术应用分析 被引量：21

6

作者 石方夏 高屹 《现代电子技术》 2021年第19期153-157,共5页

Hadoop等一些大数据处理平台的出现在一定程度上为人们处理大数据提供了可能与方便,但也存在一些不足。文中利用个例应用和归纳总结相结合的方法,从底层应用入手对Hadoop的主要构件HDFS、MapReduce及其生态环境进行介绍,阐述了其运行机... Hadoop等一些大数据处理平台的出现在一定程度上为人们处理大数据提供了可能与方便,但也存在一些不足。文中利用个例应用和归纳总结相结合的方法,从底层应用入手对Hadoop的主要构件HDFS、MapReduce及其生态环境进行介绍,阐述了其运行机制及原理。对目前Hadoop的应用场景作了详细的论述,并对其在使用过程中存在的问题进行了总结,最后给出这些问题目前的研究状况及部分解决方案。后期的使用证明,该方案可在一定程度上解决使用Hadoop过程中所遇到的问题。 展开更多

关键词 hadoop大数据技术 应用分析 数据存储 数据处理 分布式文件系统 数据分析

在线阅读 下载PDF 职称材料

Hadoop技术在海上智能电网状态监测数据存储中的应用 被引量：4

7

作者 方鹏 《舰船科学技术》 北大核心 2017年第3X期67-69,共3页

船舶智能电网技术快速发展,海上智能电网状态监测平台在设备监控、维护等方面发挥着重要作用,同时,也对海量数据处理提出了更严格的要求。本文设计基于Hadoop技术的海上智能电网状态监测平台,以满足平台对海量数据处理性能的要求。

关键词 hadoop 智能电网 数据存储

在线阅读 下载PDF 职称材料

基于Hadoop的数据资源管理平台设计 被引量：15

8

作者 黄华林 庞欣婷 《计算机应用与软件》 北大核心 2018年第7期329-333,共5页

海量电网状态监测数据的高效管理是智能电网建设中的关键问题。为此,在Hadoop开源架构的基础上,提出基于Hadoop集群的海量数据分布式存储方法和基于MapReduce的海量数据检索算法,并设计基于Hadoop的海量电网状态监测数据管理平台。测试... 海量电网状态监测数据的高效管理是智能电网建设中的关键问题。为此,在Hadoop开源架构的基础上,提出基于Hadoop集群的海量数据分布式存储方法和基于MapReduce的海量数据检索算法,并设计基于Hadoop的海量电网状态监测数据管理平台。测试结果表明,该平台具有分布式海量存储和高效数据检索的优势,适合用于智能电网海量状态监测数据的存储与管理。 展开更多

关键词 智能电网 数据管理 hadoop 存储 检索

在线阅读 下载PDF 职称材料

基于区块链且可验证的智能电网多维数据聚合与分享方案 被引量：5

9

作者 陈建伟 王姝妤 +1 位作者 张美平 张桢萍 《通信学报》 EI CSCD 北大核心 2024年第1期167-179,共13页

针对如何支持轻量级多维数据聚合,实现系统整体过程中多维数据的双端完整性验证,以及处理云服务器集中化等问题,提出了一种基于区块链且可验证的智能电网多维数据聚合与分享方案。首先,为了满足智能电网对电量数据细粒度分析的需求,利... 针对如何支持轻量级多维数据聚合,实现系统整体过程中多维数据的双端完整性验证,以及处理云服务器集中化等问题,提出了一种基于区块链且可验证的智能电网多维数据聚合与分享方案。首先,为了满足智能电网对电量数据细粒度分析的需求,利用掩蔽值和霍纳法则实现了隐私保护多维数据聚合。在此基础上,针对现有数据聚合方案在云存储数据与第三方分享方面存在的数据完整性验证问题,借用基于RSA的乘法同态承诺方案和同态哈希函数的同态性设计了一种新的签名算法,使云服务器不仅可以验证聚合数据的完整性,还可以验证数据分享阶段的完整性,即实现了云存储数据的双端可验证性,并且可以抵抗内部攻击。同时,提出了一种基于联盟链多链的聚合数据分享体系结构,有效地避免单机处理瓶颈和易受攻击等集中化问题。理论分析证明了所提方案的安全性。性能实验表明,所提方案比已有方案具有更低的计算和通信成本。 展开更多

关键词 智能电网 可验证 云存储 数据完整性 区块链

在线阅读 下载PDF 职称材料

基于偏序约简的智能电网大数据预处理方法 被引量：34

10

作者 李刚 焦谱 +3 位作者 文福拴 宋雨 尚金成 何洋 《电力系统自动化》 EI CSCD 北大核心 2016年第7期98-106,共9页

针对电力一次系统和电力信息系统的数据所具有的多维度、时空混杂等特征,建立了一种基于偏序约简的大数据属性约简预处理方法。该方法综合利用了MapReduce的可并行化优点,着眼于并发事件间的独立性,可以满足电力大数据属性维度与约简方... 针对电力一次系统和电力信息系统的数据所具有的多维度、时空混杂等特征,建立了一种基于偏序约简的大数据属性约简预处理方法。该方法综合利用了MapReduce的可并行化优点,着眼于并发事件间的独立性,可以满足电力大数据属性维度与约简方面的覆盖要求。最后,分别以某光伏发电系统监测数据、变压器故障诊断数据和智能变电站通信系统实时性与可靠性预测数据为例,对属性约简进行模拟计算,并通过Hadoop平台进行测试,表明所提出的电力大数据属性约简方法性能优良。 展开更多

关键词 智能电网 大数据 偏序约简 数据预处理 MAPREDUCE hadoop

在线阅读 下载PDF 职称材料

智能电网信息系统体系结构研究 被引量：250

11

作者 曹军威 万宇鑫 +5 位作者 涂国煜 张树卿 夏艾瑄 刘小非 陈震 陆超 《计算机学报》 EI CSCD 北大核心 2013年第1期143-167,共25页

智能电网在传统电网基础上,通过先进的信息技术手段实现能源和电力的进一步精密化调控.文中在总结智能电网的概念定义、国内外发展现状、主要技术难点和挑战的基础上,着重从信息技术的角度提出适合于智能电网发展的信息系统体系结构.该... 智能电网在传统电网基础上,通过先进的信息技术手段实现能源和电力的进一步精密化调控.文中在总结智能电网的概念定义、国内外发展现状、主要技术难点和挑战的基础上,着重从信息技术的角度提出适合于智能电网发展的信息系统体系结构.该结构分为3个层次:基础设施层,包括电力系统基础设备及通信网络;支撑平台层,包括传感量测、数据存储、分析决策和控制执行4个支撑平台;应用体系层,包括电源侧、电网侧和用电侧3类应用;真正实现物理、信息与应用系统的融合互动,信息、能量与业务流的高度一体化.该文详细总结了该体系结构涉及到的各方面技术的发展现状,同时指出了未来可能带来突破的研究方向. 展开更多

关键词 智能电网 信息系统体系结构 传感网络 高级量测系统 信息中心网络 数据存储 广域监控

在线阅读 下载PDF 职称材料

面向多源异构数据源的实际范围索引树索引方法 被引量：8

12

作者 吴润泽 蔡永涛 +2 位作者 陈文伟 陈文刚 王一蓉 《电力系统自动化》 EI CSCD 北大核心 2016年第11期121-125,131,共6页

在发电、输配电、新能源接入及新型能源消费等各个环节产生的大数据需要高效、可靠的数据存储和管理。文中以能源互联网作为虚拟应用场景,提出了集群式多源异构数据存储方案。为满足集群存储中高效查询需求,构建了实际范围索引树(AR-tr... 在发电、输配电、新能源接入及新型能源消费等各个环节产生的大数据需要高效、可靠的数据存储和管理。文中以能源互联网作为虚拟应用场景,提出了集群式多源异构数据存储方案。为满足集群存储中高效查询需求,构建了实际范围索引树(AR-tree)分层索引模型,并提出了面向多源异构数据源的AR-tree索引方法,该方法针对在双层索引模型的基础上,以局部数据索引的实际索引范围为对象,建立全局索引。同时,对所提AR-tree索引方法操作开销进行了综合分析。最后,仿真结果表明AR-tree索引方法能提高查询命中率并提升查询等操作效率。 展开更多

关键词 能源互联 智能电网 大数据 索引 查询 数据存储 集群

在线阅读 下载PDF 职称材料

海量连续运行参考站网数据云存储模型 被引量：8

13

作者 李林阳 吕志平 +1 位作者 陈正生 樊黎晖 《导航定位学报》 2014年第3期64-70,86,共8页

国家、区域、行业级连续运行参考站网的不断建成及连续观测,连续运行参考站网的数据量呈几何倍数增长,面对海量连续运行参考站网数据,集中式数据管理的可靠性、扩展性、抗灾性和容错性受到限制,云存储将网络中的大量存储设备协同起来工... 国家、区域、行业级连续运行参考站网的不断建成及连续观测,连续运行参考站网的数据量呈几何倍数增长,面对海量连续运行参考站网数据,集中式数据管理的可靠性、扩展性、抗灾性和容错性受到限制,云存储将网络中的大量存储设备协同起来工作,具有高抗灾容错性、高扩展性、高数据写入和读取性能,同时支持大吞吐量数据的并发访问,可实现连续运行参考站网数据的高效管理。基于分布式处理平台Hadoop,提出了连续运行参考站网数据云存储模型,可将已建成的连续运行参考站网站、数据中心纳入到云存储集群。实验搭建了Hadoop集群,利用中国大陆构造环境监测网络数据,建立了存储目录,执行了连续运行参考站网数据上传、下载、生成指定采样率文件等操作,测试了集群的可靠性、扩展性、抗灾容错性和下载速率。作为新的连续运行参考站网数据管理方式,云存储提高了连续运行参考站网数据的管理效率。 展开更多

关键词 连续运行参考站网 数据管理 云存储 hadoop 分布式文件系统

在线阅读 下载PDF 职称材料

基于云计算的电力数据中心基础架构及其关键技术 被引量：153

14

作者 王德文 《电力系统自动化》 EI CSCD 北大核心 2012年第11期67-71,107,共6页

为了适应新一代数据中心的发展趋势,并满足智能电网的需要,提出了基于云计算的新一代电力数据中心的基础架构。分析了现有电力数据中心的逻辑结构与功能,采用虚拟化技术对电力数据中心的服务器进行虚拟化,提高资源利用率,保障电力数据... 为了适应新一代数据中心的发展趋势,并满足智能电网的需要,提出了基于云计算的新一代电力数据中心的基础架构。分析了现有电力数据中心的逻辑结构与功能,采用虚拟化技术对电力数据中心的服务器进行虚拟化,提高资源利用率,保障电力数据中心的高可用性和可伸缩性。设计了基于Hadoop的电力数据中心云计算平台,为智能电网的各个业务系统、数据挖掘与辅助决策支持等应用提供海量数据的存储、管理与计算环境。提出现有电力数据中心向云计算的分阶段迁移策略,以保障平稳过渡。 展开更多

关键词 云计算 智能电网 数据中心 虚拟化 hadoop

在线阅读 下载PDF 职称材料

基于协调器与遗传算法的云存储数据复制策略 被引量：2

15

作者 魏秀然 王峰 《计算机工程》 CAS CSCD 北大核心 2021年第8期124-130,139,共8页

针对云存储数据过程,结合协调器与遗传算法提出一种新的数据复制策略。在Hadoop分布式文件系统体系结构基础上构建一个用于复制管理的协调器,采用接收查询算法和遗传算法接收查询,并将其发送给合适的节点以满足用户期望的服务质量功能需... 针对云存储数据过程,结合协调器与遗传算法提出一种新的数据复制策略。在Hadoop分布式文件系统体系结构基础上构建一个用于复制管理的协调器,采用接收查询算法和遗传算法接收查询,并将其发送给合适的节点以满足用户期望的服务质量功能需求,同时考虑一个查询中数据块的物理位置以获得更好的复制参数。仿真结果表明,与目前典型的数据中心选择和动态数据复制策略以及逐步删除和添加数据副本策略相比,该数据复制策略不仅优化了系统的负荷分配,而且具有更高的可用性和更小的延迟。 展开更多

关键词 云存储 数据复制 协调器 hadoop分布式文件系统 查询算法 遗传算法 服务质量

在线阅读 下载PDF 职称材料

基于校验编码备份的分布存储方案

16

作者 陈冬晓 王鹏 《计算机应用》 CSCD 北大核心 2013年第1期211-214,218,共5页

传统的云计算存储系统为保障可用性,一般使用镜像冗余备份而产生大量冗余备份数据,影响了存储数据空间的利用效率。针对此情况,为减少备份数据对存储空间的占用,提出一种存储方案。放弃了镜像冗余备份,引入校验编码的方式进行备份,以减... 传统的云计算存储系统为保障可用性,一般使用镜像冗余备份而产生大量冗余备份数据,影响了存储数据空间的利用效率。针对此情况,为减少备份数据对存储空间的占用,提出一种存储方案。放弃了镜像冗余备份,引入校验编码的方式进行备份,以减少备份数据;同时采用了冲突跳转的机制对备份进行验证,在保证备份数据有效性的前提下减少备份数量。通过模拟程序运行结果与主流云存储方案的对比表明,所提存储方案在保证数据可靠性的同时,显著地降低了分布存储对磁盘空间的占用。 展开更多

关键词 云存储 一致性哈希 hadoop分布式文件系统 数据备份 数据恢复

在线阅读 下载PDF 职称材料

分布式数据存储策略在智能电网中的应用

17

作者 高丽婷 赵巍 赵翊君 《电源技术》 CAS CSCD 北大核心 2014年第9期1745-1746,共2页

随着电力系统的不断发展,智能电网已迅速延伸至国民经济的多个领域,成为电力系统未来发展的重要方向。针对大规模智能电网中海量动态感知数据的存储问题进行了深入研究,并充分考虑了智能电网对数据的传输、存储与查询的客观要求,提出了... 随着电力系统的不断发展,智能电网已迅速延伸至国民经济的多个领域,成为电力系统未来发展的重要方向。针对大规模智能电网中海量动态感知数据的存储问题进行了深入研究,并充分考虑了智能电网对数据的传输、存储与查询的客观要求,提出了以数据为中心的分布式数据存储方法来处理智能电网运行过程中所产生的海量数据的存储策略。研究结果表明,该方法能够达到负载均衡、降低系统能耗,增加系统存储能力和存储效率的目的。 展开更多

关键词 智能电网 海量数据 存储模型 分层扩展存储机制

在线阅读 下载PDF 职称材料

面向大数据分布式存储的动态负载均衡算法 被引量：25

18

作者 张栗粽 崔园 +3 位作者 罗光春 陈爱国 卢国明 王晓雪 《计算机科学》 CSCD 北大核心 2017年第5期178-183,共6页

随着大数据时代的到来,分布式存储技术应运而生。目前主流大数据技术Hadoop的HDFS分布式存储系统的元数据存储架构上一直存在可扩展性差和写延迟高等问题,其在官方2.0版本中针对可扩展性的解决方案(Federation)仍不完美,仅解决了原有HDF... 随着大数据时代的到来,分布式存储技术应运而生。目前主流大数据技术Hadoop的HDFS分布式存储系统的元数据存储架构上一直存在可扩展性差和写延迟高等问题,其在官方2.0版本中针对可扩展性的解决方案(Federation)仍不完美,仅解决了原有HDFS扩展性的问题,在元数据分配的问题上没有考虑NameNode的异构性能差异,也未解决NameNode集群动态负载均衡的问题。针对该情况,提出了一种动态负载均衡的分布NameNode算法,通过元数据多副本异构节点的动态适应性备份,使元数据在考虑节点性能及负载的情况下实现了动态分布,保证了元数据服务器集群的性能;同时结合缓存策略及自动恢复机制,提高了元数据的读写性及可用性。该算法在试验验证中达到了较为理想的效果。 展开更多

关键词 大数据 分布式存储 元数据管理 hdfs

在线阅读 下载PDF 职称材料

智能电网中一种动态数据完整性验证方案 被引量：5

19

作者 孙旭 温蜜 +1 位作者 张栩 周波 《计算机工程》 CAS CSCD 北大核心 2017年第8期38-43,共6页

为准确高效地验证智能电网云存储系统中数据的完整性,提出一种新的动态数据完整性验证方案。该方案在保证数据机密性的基础上,对数据执行BLS短签名操作,并支持第三方验证,可根据用户需求验证数据的完整性,减少计算开销,同时通过位置敏... 为准确高效地验证智能电网云存储系统中数据的完整性,提出一种新的动态数据完整性验证方案。该方案在保证数据机密性的基础上,对数据执行BLS短签名操作,并支持第三方验证,可根据用户需求验证数据的完整性,减少计算开销,同时通过位置敏感哈希的快速检索方式提高更新存储数据的查询效率,在验证完整性时快速检索数据。实验结果表明,该方案可准确验证电力数据的完整性,并且支持高效的数据动态更新。 展开更多

关键词 智能电网 云存储 数据完整性 BLS短签名 位置敏感哈希 动态更新

在线阅读 下载PDF 职称材料

基于联盟区块链的智能电网数据安全存储与共享系统 被引量：99

20

作者 吴振铨 梁宇辉 +2 位作者 康嘉文 余荣 何昭水 《计算机应用》 CSCD 北大核心 2017年第10期2742-2747,共6页

智能电网为了实现电网可靠、安全、高效地运行,需要广泛部署无线传感网络(WSN)监控电网状态,并及时对电网异常情况进行处理。在现有的智能电网中,WSN的感知数据需要上传到可信的中心节点进行存储与共享,但是这种中心化的存储方式容易引... 智能电网为了实现电网可靠、安全、高效地运行,需要广泛部署无线传感网络(WSN)监控电网状态,并及时对电网异常情况进行处理。在现有的智能电网中,WSN的感知数据需要上传到可信的中心节点进行存储与共享,但是这种中心化的存储方式容易引起中心节点遭受恶意攻击而发生单点失效、数据被故意篡改等信息安全问题。针对这些信息安全问题,利用新兴的联盟区块链技术在智能电网中选定若干数据采集基站,组成智能电网数据存储联盟链(DSCB)系统。DSCB中节点间数据共享通过智能合约的方式来完成,数据拥有者设定数据共享的约束条件,使用计算机语言代替法律条款来规范数据访问者行为,从而实现以去中心化的方式集体维护一个安全可靠的数据存储数据库。安全分析表明所提数据存储联盟链系统能实现安全、有效的数据存储与共享。 展开更多

关键词 智能电网 联盟区块链 数据存储 安全与隐私保护

在线阅读 下载PDF 职称材料