随着高性能计算体系结构的发展,软件与硬件都具有多层的并行结构。当不同纵向层级与横向分组的计算任务被划分到不同节点的不同处理器时,存在非常多的分配方式。这些分配方式一般在运行时由用户输入的多个并行参数来确定,并对计算效率...随着高性能计算体系结构的发展,软件与硬件都具有多层的并行结构。当不同纵向层级与横向分组的计算任务被划分到不同节点的不同处理器时,存在非常多的分配方式。这些分配方式一般在运行时由用户输入的多个并行参数来确定,并对计算效率影响很大。随着计算规模与复杂度的提升,多个并行参数的可配置空间越来越大,用户越来越难以确定最佳的并行参数值。这类运行时优化问题在科学计算应用中较为普遍,但相关的研究与解决方法比较少见。以VASP(Vienna Ab initio Simulation Package)应用为例,首先分析了该应用的多层并行结构,展示了不同并行参数配置引发的巨大运行速度差异。然后提出了一个基于约化并行效率指标的全自动运行优化方法,其不仅可以帮助用户简单快捷地确定最佳应用并行参数,而且可以帮助用户确定最佳的计算资源使用量,使应用可以高效率地扩展到大规模的并行计算中。最后将该优化方法与计算集群作业调度系统相融合应用于用户提交的真实VASP计算作业。统计结果表明,该方法显著提升了作业运行速度与超算资源的使用效率,具有很好的工程应用前景。展开更多
文摘随着高性能计算体系结构的发展,软件与硬件都具有多层的并行结构。当不同纵向层级与横向分组的计算任务被划分到不同节点的不同处理器时,存在非常多的分配方式。这些分配方式一般在运行时由用户输入的多个并行参数来确定,并对计算效率影响很大。随着计算规模与复杂度的提升,多个并行参数的可配置空间越来越大,用户越来越难以确定最佳的并行参数值。这类运行时优化问题在科学计算应用中较为普遍,但相关的研究与解决方法比较少见。以VASP(Vienna Ab initio Simulation Package)应用为例,首先分析了该应用的多层并行结构,展示了不同并行参数配置引发的巨大运行速度差异。然后提出了一个基于约化并行效率指标的全自动运行优化方法,其不仅可以帮助用户简单快捷地确定最佳应用并行参数,而且可以帮助用户确定最佳的计算资源使用量,使应用可以高效率地扩展到大规模的并行计算中。最后将该优化方法与计算集群作业调度系统相融合应用于用户提交的真实VASP计算作业。统计结果表明,该方法显著提升了作业运行速度与超算资源的使用效率,具有很好的工程应用前景。
文摘为解决智算中心超大规模算力集群算力可用率低、国产技术成熟度低、大规模组网效率存在瓶颈、运营运维复杂等问题,提出了一种基于云计算技术构建智算中心万卡集群的系统。采用18432块神经网络处理单元(neural processing unit,NPU)卡和优化后的基于以太网的远程直接内存访问(remote direct memory access,RDMA)网络构建云化的智算中心万卡集群,结合软件定义网络(software defined network,SDN)技术实现RDMA网络租户隔离,实现了链路负载均衡误差小于10%,集群All-Reduce带宽达35 GB/s以上。采用优化后的分布式存储协议,实现模型断点恢复时长缩短为原来的1/2。验证结果表明,经过软硬件协同优化,国产化的NPU万卡集群不仅能够满足千亿参数大模型训练的需求,未来更可以支撑万亿参数大模型训练任务。
