期刊导航
期刊开放获取
上海教育软件发展有限公..
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
2
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
异构Hadoop集群下自适应平衡数据存储的大数据放置策略
被引量：
3
1
作者
张少辉
张中军
于来行
《现代电子技术》
北大核心
2016年第10期49-53,57,共6页
Hadoop是一种处理和存储大数据的平台,针对异构Hadoop集群下采用均等数据分配方法易降低系统计算性能的问题,提出一种自适应平衡数据存储的大数据放置策略。根据异构集群中各节点的计算能力比例,将数据分配到节点中。在任务处理过程中,...
Hadoop是一种处理和存储大数据的平台,针对异构Hadoop集群下采用均等数据分配方法易降低系统计算性能的问题,提出一种自适应平衡数据存储的大数据放置策略。根据异构集群中各节点的计算能力比例,将数据分配到节点中。在任务处理过程中,根据反馈的任务完成时间信息,动态更新节点的能力比例,自适应调整数据分配,从而使异构Hadoop集群中各节点处理数据的时间大致相同,降低节点之间的数据移动量,提高了节点利用率。实验结果表明,该策略能够有效缩减任务完成时间,提高了系统的整体性能。
展开更多
关键词
异构Hadoop集群
大数据放置
数据存储平台
平衡数据存储
在线阅读
下载PDF
职称材料
异构混合存储的软硬件协同数据放置策略
被引量：
5
2
作者
李鸿飞
杜溢墨
+1 位作者
曾熠
王磊
《国防科技大学学报》
EI
CAS
CSCD
北大核心
2020年第2期64-71,共8页
分析比较当前大数据中心典型混合存储架构,针对其不能综合运用存储管理系统和存储设备优势的问题,提出软硬件协同的数据放置策略,同时考虑软件层混合存储管理系统和硬件层混合存储设备的特点,根据应用特性为数据选择合适的存储管理系统...
分析比较当前大数据中心典型混合存储架构,针对其不能综合运用存储管理系统和存储设备优势的问题,提出软硬件协同的数据放置策略,同时考虑软件层混合存储管理系统和硬件层混合存储设备的特点,根据应用特性为数据选择合适的存储管理系统和设备。面向不同应用场景,提出运行前规划存储路径的静态放置模式和运行中规划存储路径的动态放置模式。基于存储管理系统和设备性能参数建模,采用仿真方法实现各数据放置策略,并运行实际应用中的三类负载进行实验测试,结果表明采用软硬件协同的数据放置策略相比只考虑存储管理系统和存储设备的数据放置策略,性能可以提高近30%。
展开更多
关键词
大数据
混合存储
非关系型数据库
数据放置
在线阅读
下载PDF
职称材料
题名
异构Hadoop集群下自适应平衡数据存储的大数据放置策略
被引量：
3
1
作者
张少辉
张中军
于来行
机构
周口师范学院网络工程学院
周口师范学院计算机科学与技术学院
大连理工大学计算机科学与技术学院
出处
《现代电子技术》
北大核心
2016年第10期49-53,57,共6页
基金
河南省科技厅软科学研究计划项目(142400411213)
河南省高等学校重点科研项目(15A520118)
河南省教育厅科技重点项目(14B520014)
文摘
Hadoop是一种处理和存储大数据的平台,针对异构Hadoop集群下采用均等数据分配方法易降低系统计算性能的问题,提出一种自适应平衡数据存储的大数据放置策略。根据异构集群中各节点的计算能力比例,将数据分配到节点中。在任务处理过程中,根据反馈的任务完成时间信息,动态更新节点的能力比例,自适应调整数据分配,从而使异构Hadoop集群中各节点处理数据的时间大致相同,降低节点之间的数据移动量,提高了节点利用率。实验结果表明,该策略能够有效缩减任务完成时间,提高了系统的整体性能。
关键词
异构Hadoop集群
大数据放置
数据存储平台
平衡数据存储
Keywords
heterogeneous Hadoop cluster
big data placement
data
storage platform
balance
data
storage
分类号
TN915.34 [电子电信—通信与信息系统]
TP393 [自动化与计算机技术—计算机应用技术]
在线阅读
下载PDF
职称材料
题名
异构混合存储的软硬件协同数据放置策略
被引量：
5
2
作者
李鸿飞
杜溢墨
曾熠
王磊
机构
信息工程大学地理空间信息学院
中国人民解放军
出处
《国防科技大学学报》
EI
CAS
CSCD
北大核心
2020年第2期64-71,共8页
文摘
分析比较当前大数据中心典型混合存储架构,针对其不能综合运用存储管理系统和存储设备优势的问题,提出软硬件协同的数据放置策略,同时考虑软件层混合存储管理系统和硬件层混合存储设备的特点,根据应用特性为数据选择合适的存储管理系统和设备。面向不同应用场景,提出运行前规划存储路径的静态放置模式和运行中规划存储路径的动态放置模式。基于存储管理系统和设备性能参数建模,采用仿真方法实现各数据放置策略,并运行实际应用中的三类负载进行实验测试,结果表明采用软硬件协同的数据放置策略相比只考虑存储管理系统和存储设备的数据放置策略,性能可以提高近30%。
关键词
大数据
混合存储
非关系型数据库
数据放置
Keywords
big
data
hybrid store
not only structured query language
data
placement
分类号
TP311.13 [自动化与计算机技术—计算机软件与理论]
在线阅读
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
异构Hadoop集群下自适应平衡数据存储的大数据放置策略
张少辉
张中军
于来行
《现代电子技术》
北大核心
2016
3
在线阅读
下载PDF
职称材料
2
异构混合存储的软硬件协同数据放置策略
李鸿飞
杜溢墨
曾熠
王磊
《国防科技大学学报》
EI
CAS
CSCD
北大核心
2020
5
在线阅读
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
