-
题名Alluxio数据随机访问方法的研究
被引量：2
- 1
-
-
作者
魏占辰
黄秋兰
孙功星
刘晓宇
王轶
-
机构
中国科学院高能物理研究所
中国科学院大学
-
出处
《计算机工程与应用》
CSCD
北大核心
2020年第13期77-83,共7页
-
基金
国家自然科学基金(No.11775249,No.11875283)。
-
文摘
为保证系统的可扩展性和容错性,Alluxio简化了文件系统实现,不支持数据随机访问,但在实际情况中仍有许多应用需要数据随机访问。Alluxio原生Java接口灵活性较差,不支持传统应用,不能完全发挥内存的高速性能。因此在深入分析Alluxio数据读写原理后,提出了新式数据随机访问方法,其核心思想是改变原有数据访问和缓存时机,将对Alluxio中的文件读写转化为对本地内存文件系统的文件读写,从而实现对数据的随机访问。在此基础上,还可以使用内存映射技术进一步提高本地文件的读写性能。测试结果表明,该方法的数据读取性能提升了14.5%,写入性能提升了1.4倍以上。在实际应用场景中合理使用Alluxio及新式数据随机访问方法,可获得数倍至数十倍的性能提升。
-
关键词
Alluxio分布式内存存储系统
数据随机访问
内存计算
内存映射
科学计算
-
Keywords
Alluxio distributed in-memory storage system
data random access
memory computing
memory mapping
scientific computing
-
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
-
