-
题名一种面向低延迟的内存HDFS数据存储策略
被引量：2
- 1
-
-
作者
英昌甜
于炯
廖彬
鲁亮
-
机构
新疆大学信息科学与工程学院
-
出处
《微电子学与计算机》
CSCD
北大核心
2014年第11期160-166,共7页
-
基金
国家自然科学基金资助项目(61262088
61063042)
新疆维吾尔自治区自然科学基金资助项目(2011211A011)
-
文摘
从底层存储介质的选择和上层分布式文件系统效率的角度出发,提出基于HDFS的内存分布式文件系统架构Mem-HDFS,同时利用集群DataNode的内存和磁盘存储数据,以提高基于HDFS应用的读取性能.并对其进行性能优化,提出一种适应的同分布数据存储策略以及并行读取访问算法.对比实验表明:提出的算法能够较好地降低读取访问延迟.
-
关键词
内存分布式文件系统
数据存储策略
低延迟
并行读取算法
-
Keywords
Memory HDFS
data storage strategy
low-latency
-
分类号
TP333
[自动化与计算机技术—计算机系统结构]
-
-
题名计算存储融合:从高性能计算到大数据
被引量：3
- 2
-
-
作者
殷进勇
杨阳
徐振朋
姚小城
曾玮妮
-
机构
江苏自动化研究所
-
出处
《指挥控制与仿真》
2015年第3期1-7,共7页
-
文摘
随着军事信息化建设,物联网广泛应用于战场感知、智能控制等军事领域,产生了海量的半结构化、非结构化的数据,受到I/O性能尤其是网络传输、硬盘读写的限制,传统的计算系统难以满足海量数据处理的应用需求。因此,提出了一种计算存储融合方法,通过扩展Linux内核,将集群内所有节点上的内存、处理器等计算存储资源在系统空间映射成一个统一的资源池,实现了单一进程空间和单一内存空间,并在内存空间内建立一个分布式内存文件系统。计算时可将数据完全加载到内存中,计算过程中仅与内存文件系统交互,避免了硬盘读写对系统性能的影响;另外,通过进程迁移,避免了节点之间的大量数据传输。实验结果表明,该方法对数据密集型计算是有效的,能够大幅提升系统的计算性能。
-
关键词
计算存储融合
内存计算
进程迁移
分布式内存文件系统
-
Keywords
computing and storage fusion
in memory computing
process migration
distributed RAM files system
-
分类号
TP274
[自动化与计算机技术—检测技术与自动化装置]
TP33
[自动化与计算机技术—计算机系统结构]
-
