文中采用现代先进的信息技术和计算技术,研究基于高性能并行计算的水利水电大型科学计算平台体系和构建,并采用Sun Fire 6800R和Sun Cluster Tools初步形成了高性能并行计算平台的架构,结合水利水电科学计算的实践,通过数学模型的结构...文中采用现代先进的信息技术和计算技术,研究基于高性能并行计算的水利水电大型科学计算平台体系和构建,并采用Sun Fire 6800R和Sun Cluster Tools初步形成了高性能并行计算平台的架构,结合水利水电科学计算的实践,通过数学模型的结构分析、并行改造,探索、推广并行计算技术在水利水电数学模型计算领域的应用,并以此构架基于网络的开发式并行计算共享平台。展开更多
基于人类反馈的强化学习(reinforcement learning with human feedback,RLHF)作为当前大语言模型(large language models,LLMs)对齐的主流方法,其核心优化算法——近端策略优化(proximal policy optimization,PPO)却面临着显著的效率问...基于人类反馈的强化学习(reinforcement learning with human feedback,RLHF)作为当前大语言模型(large language models,LLMs)对齐的主流方法,其核心优化算法——近端策略优化(proximal policy optimization,PPO)却面临着显著的效率问题.PPO由生成、推理、训练3个相互关联的阶段组成,各个阶段有着不同的计算特性.然而,现有的RLHF并行框架采用相同并行策略顺序执行PPO的所有阶段,这导致以下2个问题:其一,生成阶段不能充分利用计算资源,进而影响整体效率;其二,阶段间严格串行执行,未能充分利用潜在并行性.针对上述问题,提出了一个新型RLHF并行框架——Pipe-RLHF.该框架能够自适应地根据各阶段的计算特征确定最优并行策略,突破现有阶段串行范式,采用异步PPO算法发掘阶段间的并行性.具体而言,创新性地提出了适用于PPO生成阶段的延迟批间流水线并行方法,显著提升了该阶段的计算资源利用率;再次,使用异步PPO解放阶段间的依赖关系,将阶段间并行应用到PPO的加速上;最后,针对PPO算法的整体优化,构建了分层并行策略空间,并提出了一套优化算法以实现该空间中的最优解搜索.通过在多个大语言模型上的性能评估实验表明,相较于现有方法,Pipe-RLHF最高可实现3.7倍的加速比,充分验证了该框架的有效性和优越性.展开更多
针对油浸式变压器2维流-热耦合仿真计算效率低的问题,提出了基于混合有限元法的并行计算方法。首先,在Visual Studio 2019中采用C++语言实现无量纲最小二乘有限元法以及迎风有限元法的串行计算方法。然后,基于图形处理器(graphic proces...针对油浸式变压器2维流-热耦合仿真计算效率低的问题,提出了基于混合有限元法的并行计算方法。首先,在Visual Studio 2019中采用C++语言实现无量纲最小二乘有限元法以及迎风有限元法的串行计算方法。然后,基于图形处理器(graphic processing unit,GPU)实现流体场的并行计算,针对单分区分匝模型对比分析了不同GPU卡在不同网格条件下的并行计算效率,分析结果表明数据规模越大,GPU卡流处理器越多并行效果越好。其次,基于Intel MKL(Intel math kernel library)函数库结合共享存储并行编程(open multi-processing,OpenMP)实现了2维温度场的并行计算,并对比分析了不同网格数量对并行效率的影响。最后,在此基础上提出了根据不同仿真条件的混合并行计算方法,并应用到大型油浸式变压器绕组模型的2维温升热点分析中。结果表明,相较于串行程序,混合有限元并行计算方法的加速比达到了69.5,实验测试结果进一步验证了并行计算结果的准确性,研究成果为大型油浸式变压器流-热耦合问题的快速计算奠定了基础。展开更多
间断有限元算法(Discontinuous Galerkin Finite Element Method,DGM)是一种高精度的数值求解算法,针对电磁工程应用中DGM并行计算效率低、计算量较大的问题,提出了基于SW26010平台的并行DGM算法。通过区域分解、数据结构重构、热点函...间断有限元算法(Discontinuous Galerkin Finite Element Method,DGM)是一种高精度的数值求解算法,针对电磁工程应用中DGM并行计算效率低、计算量较大的问题,提出了基于SW26010平台的并行DGM算法。通过区域分解、数据结构重构、热点函数从核并行计算、计算与通信重叠及从核缓冲优化技术完成了DGM算法的并行优化。实现结果表明,与基于MPI进程级的DGM并行算法相比,可以获得46.8的平均加速比。展开更多
文摘文中采用现代先进的信息技术和计算技术,研究基于高性能并行计算的水利水电大型科学计算平台体系和构建,并采用Sun Fire 6800R和Sun Cluster Tools初步形成了高性能并行计算平台的架构,结合水利水电科学计算的实践,通过数学模型的结构分析、并行改造,探索、推广并行计算技术在水利水电数学模型计算领域的应用,并以此构架基于网络的开发式并行计算共享平台。
文摘高性能计算在科学研究领域有着广泛的应用。演化计算因具有计算规模大、种群中个体相关性小等优点,成为并行计算研究的主要对象之一。提出两种并行策略,对顺序GA(Genetic Algorithm)实现并行。首先使用主从模式对多种群协同遗传算法实现并行,在此基础上通过对算法进一步改进,实现了基于对等模式的并行演化计算,从而提高了算法可扩展性。比较了两种并行模式的各自特点,通过SPMD(Single Program Multiple Data)算法实现和基于上海大学“自强2000”高性能计算机上的实例验证,改进算法具有更好的可扩展性,更易于推广到网格环境。
文摘基于人类反馈的强化学习(reinforcement learning with human feedback,RLHF)作为当前大语言模型(large language models,LLMs)对齐的主流方法,其核心优化算法——近端策略优化(proximal policy optimization,PPO)却面临着显著的效率问题.PPO由生成、推理、训练3个相互关联的阶段组成,各个阶段有着不同的计算特性.然而,现有的RLHF并行框架采用相同并行策略顺序执行PPO的所有阶段,这导致以下2个问题:其一,生成阶段不能充分利用计算资源,进而影响整体效率;其二,阶段间严格串行执行,未能充分利用潜在并行性.针对上述问题,提出了一个新型RLHF并行框架——Pipe-RLHF.该框架能够自适应地根据各阶段的计算特征确定最优并行策略,突破现有阶段串行范式,采用异步PPO算法发掘阶段间的并行性.具体而言,创新性地提出了适用于PPO生成阶段的延迟批间流水线并行方法,显著提升了该阶段的计算资源利用率;再次,使用异步PPO解放阶段间的依赖关系,将阶段间并行应用到PPO的加速上;最后,针对PPO算法的整体优化,构建了分层并行策略空间,并提出了一套优化算法以实现该空间中的最优解搜索.通过在多个大语言模型上的性能评估实验表明,相较于现有方法,Pipe-RLHF最高可实现3.7倍的加速比,充分验证了该框架的有效性和优越性.
文摘针对油浸式变压器2维流-热耦合仿真计算效率低的问题,提出了基于混合有限元法的并行计算方法。首先,在Visual Studio 2019中采用C++语言实现无量纲最小二乘有限元法以及迎风有限元法的串行计算方法。然后,基于图形处理器(graphic processing unit,GPU)实现流体场的并行计算,针对单分区分匝模型对比分析了不同GPU卡在不同网格条件下的并行计算效率,分析结果表明数据规模越大,GPU卡流处理器越多并行效果越好。其次,基于Intel MKL(Intel math kernel library)函数库结合共享存储并行编程(open multi-processing,OpenMP)实现了2维温度场的并行计算,并对比分析了不同网格数量对并行效率的影响。最后,在此基础上提出了根据不同仿真条件的混合并行计算方法,并应用到大型油浸式变压器绕组模型的2维温升热点分析中。结果表明,相较于串行程序,混合有限元并行计算方法的加速比达到了69.5,实验测试结果进一步验证了并行计算结果的准确性,研究成果为大型油浸式变压器流-热耦合问题的快速计算奠定了基础。
文摘间断有限元算法(Discontinuous Galerkin Finite Element Method,DGM)是一种高精度的数值求解算法,针对电磁工程应用中DGM并行计算效率低、计算量较大的问题,提出了基于SW26010平台的并行DGM算法。通过区域分解、数据结构重构、热点函数从核并行计算、计算与通信重叠及从核缓冲优化技术完成了DGM算法的并行优化。实现结果表明,与基于MPI进程级的DGM并行算法相比,可以获得46.8的平均加速比。
