在当今数字化时代,海量数据的生成和积累呈现出爆炸式增长的趋势,因此对存储容量的需求急速上升.传统磁记录磁盘CMR因其高容量和低成本而被视为解决海量数据存储的首选.然而,由于超顺磁效应的制约,CMR(Conventional Magnetic Recording...在当今数字化时代,海量数据的生成和积累呈现出爆炸式增长的趋势,因此对存储容量的需求急速上升.传统磁记录磁盘CMR因其高容量和低成本而被视为解决海量数据存储的首选.然而,由于超顺磁效应的制约,CMR(Conventional Magnetic Recording)磁盘面密度的提升已触及极限.为了突破这一限制,叠瓦式磁记录技术SMR(Shingled Magnetic Recording)应运而生.基于传统硬盘架构,该技术以重叠磁道的方式,显著提升了磁盘面密度.但SMR磁盘在处理随机写时,会产生不可预测的写放大效应,从而严重影响I/O性能.为解决这一问题,业界随即提出了交错式磁记录技术IMR(Interlaced Magnetic Recording),利用优化的磁道布局和热辅助磁记录技术,有效实现了存储容量与性能的平衡.本文首先详细介绍了SMR和IMR的技术原理和磁盘类型,并量化分析了影响设备I/O性能的关键问题.然后,重点介绍了设备级优化方案,分析并总结了不同策略的优缺点与优化目标.接着,概述了面向设备的系统级和应用级设计方案,如文件系统、独立磁盘阵列技术和数据库等.最后讨论了在未来优化SMR磁盘和IMR磁盘性能可能的研究方向.展开更多
已有基于深度强化学习(Deep Reinforcement Learning,DRL)的云数据中心任务调度算法存在有效经验利用率低造成训练成本高、状态空间维数不固定和维度较高导致学习震荡,以及策略更新步长固定造成的收敛速度慢等问题。为解决以上问题,基...已有基于深度强化学习(Deep Reinforcement Learning,DRL)的云数据中心任务调度算法存在有效经验利用率低造成训练成本高、状态空间维数不固定和维度较高导致学习震荡,以及策略更新步长固定造成的收敛速度慢等问题。为解决以上问题,基于云数据中心场景构建并行任务调度框架,并以时延、能耗和负载均衡为目标研究云任务调度问题。在DRL算法A2C(Advantage Actor Critic)的基础上,提出了一种基于自适应状态优选和动态步长的云数据中心任务调度算法(Adaptive state Optimization and Dynamic Step size A2C,AODS-A2C)。首先,使用准入控制和优先级策略对队列任务进行筛选和排序,提高有效经验的利用率;其次,将动态高维状态以自适应的方式进行快速优选处理,保持相对稳定的状态空间,避免训练过程中出现震荡问题;最后,使用JS(Jensen Shannon)散度度量新旧策略的概率分布差异,并根据这种差异动态地匹配调整Actor网络和Critic网络的学习步长,从而将当前学习状态迅速调整为最佳值,提高算法的收敛速度。仿真实验结果表明,所提出的AODS-A2C算法具有收敛速度快、鲁棒性高等特点,相较于其他对比算法在时延方面降低了1.2%到34.4%,在能耗方面降低了1.6%到57.2%,并可以实现良好的负载均衡。展开更多
文摘在当今数字化时代,海量数据的生成和积累呈现出爆炸式增长的趋势,因此对存储容量的需求急速上升.传统磁记录磁盘CMR因其高容量和低成本而被视为解决海量数据存储的首选.然而,由于超顺磁效应的制约,CMR(Conventional Magnetic Recording)磁盘面密度的提升已触及极限.为了突破这一限制,叠瓦式磁记录技术SMR(Shingled Magnetic Recording)应运而生.基于传统硬盘架构,该技术以重叠磁道的方式,显著提升了磁盘面密度.但SMR磁盘在处理随机写时,会产生不可预测的写放大效应,从而严重影响I/O性能.为解决这一问题,业界随即提出了交错式磁记录技术IMR(Interlaced Magnetic Recording),利用优化的磁道布局和热辅助磁记录技术,有效实现了存储容量与性能的平衡.本文首先详细介绍了SMR和IMR的技术原理和磁盘类型,并量化分析了影响设备I/O性能的关键问题.然后,重点介绍了设备级优化方案,分析并总结了不同策略的优缺点与优化目标.接着,概述了面向设备的系统级和应用级设计方案,如文件系统、独立磁盘阵列技术和数据库等.最后讨论了在未来优化SMR磁盘和IMR磁盘性能可能的研究方向.
文摘已有基于深度强化学习(Deep Reinforcement Learning,DRL)的云数据中心任务调度算法存在有效经验利用率低造成训练成本高、状态空间维数不固定和维度较高导致学习震荡,以及策略更新步长固定造成的收敛速度慢等问题。为解决以上问题,基于云数据中心场景构建并行任务调度框架,并以时延、能耗和负载均衡为目标研究云任务调度问题。在DRL算法A2C(Advantage Actor Critic)的基础上,提出了一种基于自适应状态优选和动态步长的云数据中心任务调度算法(Adaptive state Optimization and Dynamic Step size A2C,AODS-A2C)。首先,使用准入控制和优先级策略对队列任务进行筛选和排序,提高有效经验的利用率;其次,将动态高维状态以自适应的方式进行快速优选处理,保持相对稳定的状态空间,避免训练过程中出现震荡问题;最后,使用JS(Jensen Shannon)散度度量新旧策略的概率分布差异,并根据这种差异动态地匹配调整Actor网络和Critic网络的学习步长,从而将当前学习状态迅速调整为最佳值,提高算法的收敛速度。仿真实验结果表明,所提出的AODS-A2C算法具有收敛速度快、鲁棒性高等特点,相较于其他对比算法在时延方面降低了1.2%到34.4%,在能耗方面降低了1.6%到57.2%,并可以实现良好的负载均衡。
