-
题名基于作业路径的存储系统作业感知条带优化方法
- 1
-
-
作者
鲜港
杨文祥
张晓蓉
喻杰
田永强
-
机构
国防科技大学计算机学院
中国空气动力研究与发展中心计算空气动力研究所
西南科技大学计算机科学与技术学院
-
出处
《计算机工程》
北大核心
2025年第3期34-44,共11页
-
基金
国家自然科学基金(62202471,61872304,61802320)
四川省科技厅重点研发项目(2022YFG0040)。
-
文摘
为解决超级计算机I/O效率不高、用户无法充分利用存储系统I/O能力的问题,研究生产型超级计算机对象存储目标(OST)上的工作负载,分析高性能计算作业的I/O模式和整个系统中作业的I/O分布情况,探索提升I/O效率的方法。研究结果显示:在传统非条带化设置下,OST上的瞬时负载严重不平衡,导致无法调用未充分利用的OST进行I/O请求;不同作业的I/O模式对OST的使用情况也有所不同,因此可以根据作业的I/O模式适当调整文件条带布局,调动未充分利用的OST来提升I/O性能。提出一种作业感知条带优化方法,包括静态和动态文件条带化。静态文件条带化将用户的作业均进行条带优化,而动态文件条带化利用作业名和作业路径的聚类方式提取作业之间的相似性,预测用户部分可条带优化的作业,并在作业完成后还原条带配置以减小条带设置错误的负面影响。实验结果表明,作业感知文件条带化能够增加作业使用的OST数量,有效提升作业的并行I/O性能,同时不会对系统稳定性产生显著影响。
-
关键词
作业感知
文件条带化
高性能计算
并行I/O
存储系统
-
Keywords
job awareness
file striping
High Performance Computing(HPC)
parallel I/O
storage system
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名桌面网格环境下虚拟化技术的应用研究
被引量：6
- 2
-
-
作者
阚文枭
黄秋兰
陈刚
-
机构
中国科学院高能物理研究所
中国科学院大学
-
出处
《计算机工程》
CAS
CSCD
北大核心
2017年第3期11-17,共7页
-
基金
国家自然科学基金(11375221
11305192
+2 种基金
11205179
11405195)
中国科学院"十二五"科研信息化项目"高能物理科技领域云"(Y2293C00S5)
-
文摘
桌面网格是典型的异构计算资源环境,而虚拟化技术具有良好的封装性及隔离性,能整合异构资源并屏蔽不同操作系统的差异。为此,基于VirtualBox虚拟机实现桌面网格系统。对虚拟机运行环境的配置参数进行测试,设计实现自适应内存配置模块。分析作业运行不同阶段硬盘I/O、带宽I/O等性能差异对作业运行效率的影响,并针对镜像多样性及虚拟机启动与带宽造成的损耗,设计远程镜像库及动态作业文件系统,实现虚拟机的多样性选择及作业运行环境的动态部署,同时使用缓存服务弥补因使用虚拟机所造成的损耗。应用结果表明,该系统能够较好地满足高能物理计算的需求。
-
关键词
虚拟化
桌面网格
VirtualBox虚拟机
镜像元数据
作业文件系统
缓存服务
-
Keywords
virtualization
desktop grid
VirtualBox Virtual Machine （ VM ）
image metadata
job file system
cache service
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名基于直接数据访问的并行文件系统
- 3
-
-
作者
景志洁
朱建涛
-
机构
上海交通大学计算机系
江南计算技术研究所
-
出处
《计算机工程》
CAS
CSCD
北大核心
2004年第B12期10-11,61,共3页
-
基金
国家杰出青年科学基金资助项目(60025206)
-
文摘
并行文件系统是高性能计算机为提高I／O带宽在软件方面采用的主要并行I/O技术之一。该文介绍了一种基于直接数据访问的并行文 件系统的设计和实现,阐明了该并行文件系统具备的主要功能及解决的关键技术问题。
-
关键词
并行文件系统
超节点
作业分区
直接数据访问
-
Keywords
Parallel file system
Super node
job partition
Direct data access
-
分类号
TP316.4
[自动化与计算机技术—计算机软件与理论]
-
