-
题名微服务架构磁带库存储系统设计与实现
被引量：5
- 1
-
-
作者
刘晓宇
夏立斌
姜晓巍
孙功星
-
机构
中国科学院高能物理研究所
中国科学院大学
-
出处
《计算机工程与应用》
CSCD
北大核心
2023年第15期253-263,共11页
-
基金
国家自然科学基金(12275295)。
-
文摘
建立具有磁带存储层的HDFS分级存储系统是完善高能物理领域Hadoop生态系统的重要部分,但高能物理领域传统的磁带存储管理系统(如Castor、CTA)上层不支持HDFS磁盘存储,并且随着高能物理数据量的急剧增长、互联网技术的不断发展和用户需求的迅猛变化,传统的磁带存储管理系统逐渐呈现出系统扩展、负载均衡、开发和运维成本上升等方面的问题。设计开发了基于微服务架构的磁带存储管理系统。该系统向上支持HDFS磁盘存储,将磁带库资源管理、文件传输、磁带读写等功能以微服务的形式分布到各个服务实例中,达到分散服务压力的目的,并且系统针对传统负载算法效率不佳的问题,实现了基于服务器响应指数的负载均衡算法,通过根据自定义参数计算得到的服务器响应指数对其进行排序,保证将用户请求调度到响应指数最高的服务器进行处理。实验结果表明,磁带库存储系统满足HDFS文件分级存储磁带层管理的需求,提出的基于服务器响应指数的负载均衡算法相较于轮询算法,系统归档性能高出6%以上,提取性能高出64%以上;相较于随机算法,系统归档性能高出9%以上,提取性能高出64%以上,最终实现的磁带库存储系统表明,与传统的系统相比,微服务体系结构能够实现系统中组件的解耦和分布式负载的平衡,在系统开发和运维等方面更为便捷。
-
关键词
磁带库存储
微服务架构
负载均衡
响应指数计算模型
HDFS系统
-
Keywords
tape library storage
microservice architecture
load balancing
response index calculation model
HDFS system
-
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
-
