-
题名一种数据本地化存储与处理系统
被引量：2
- 1
-
-
作者
徐永士
霍菁
孙功星
-
机构
中国科学院高能物理研究所计算中心
中国科学院研究生院
-
出处
《计算机工程与应用》
CSCD
2012年第5期7-11,共5页
-
基金
国家自然科学基金资助重点项目(No.90912004)
-
文摘
简述了当前大型数据中心普遍采用的计算节点集群与存储系统模块化设计的系统结构,说明了部署在各模块上的主要集群系统。分析了具有独立性的结构化数据本地化存储于计算节点的可能性,给出了系统基本框架,从总体拥有成本(TCO)的角度分析了其价值。结合高能物理研究的原始数据特点,认为数据本地化存储在节点上,有利于提高整体利用率,指出了关键部件——文件元数据管理系统的设计要点,分析了PBS作业批处理系统集成文件元数据管理系统的三种方案,给出第一种方案的详细设计,相应的用户提交作业方式的改变。在测试环境下,初步部署了文件元数据管理系统,测试了三种集成方案,给出了简要的分析比较。
-
关键词
作业批处理系统(PBS)
高能物理数据分析
文件元数据管理
数据存储本地化
-
Keywords
Portable Batch System（PBS）
high physical energy data analyses
file metadata manage
data storage localization
-
分类号
TP393
[自动化与计算机技术—计算机应用技术]
-
-
题名分布式文件元数据管理系统设计
被引量：1
- 2
-
-
作者
徐永士
臧冬松
孙功星
-
机构
中国科学院高能物理研究所计算中心
中国科学院研究生院
-
出处
《计算机工程与应用》
CSCD
2012年第7期1-4,98,共5页
-
基金
国家自然科学基金重点项目(No.90912004)
-
文摘
简述了分布式文件元数据管理系统的应用环境和设计目标。目标系统设定应用于高能物理数据分析,关联Torque作业批处理系统;在这些条件的限制下,详细分析了各种限制因素,并以此为基础给出了目标系统的总体结构及模块化设计。详细阐述了目标系统的数据库设计、访问接口设计以及数据同步要点,给出了设计思路,并结合目标系统的记录新增操作、查询操作的测试性能,讨论了进一步的工作。
-
关键词
分布式
文件元数据管理
TORQUE
作业批处理系统
-
Keywords
distribution
file metadata management
Torque
Portable Batch System（PBS）
-
分类号
TP393
[自动化与计算机技术—计算机应用技术]
-
