随着云计算技术的发展与成熟,并行计算在云环境中得到了越来越多的实践。服务器无感知计算作为云计算中的一种新型的应用部署与计算方式,允许用户弹性分配资源并实现负载均衡,并提供了更强的可扩展性和更大的灵活性。然而,无状态的特性...随着云计算技术的发展与成熟,并行计算在云环境中得到了越来越多的实践。服务器无感知计算作为云计算中的一种新型的应用部署与计算方式,允许用户弹性分配资源并实现负载均衡,并提供了更强的可扩展性和更大的灵活性。然而,无状态的特性导致服务器无感知计算框架并不完全适用于传统并行计算,其中通信是一个关键问题。本文提出了一个具有服务质量(quality of service,QoS)保障的通信框架FreeParallel,旨在基于服务器无感知计算中的函数即服务(function as a service,FaaS)平台构建面向并行计算的通信能力。FreeParallel结合了消息传递接口(message passing interface,MPI)并行计算编程模型,有效地保证了通信服务的质量;并采用代理模型来支持并行函数的识别和转换,并以服务形式灵活部署在多个FaaS或虚拟化平台上。此外,本研究还提出了函数间通信流量的QoS管理策略fm Clock,在保证传输公平性的前提下,实现基于请求和限制的通信原语级网络资源分配。实验结果表明,点对点通信场景下FreeParallel与虚拟化平台的覆盖网络相比传输性能略有不足,但比当前服务器无感知计算状态共享方案的传输效率有至少89.5%的提升。并且FreeParallel在集合通信场景下表现极佳,比基线方法提升了59.9%~83.1%。同时,带有fm Clock策略的FreeParallel能够实现原语级按比例分配策略,避免了不同原语间请求的交叉干扰,案例表明,策略的加入降低了应用25.0%的完成时间。展开更多
Message passing Interface (MPI) is a kind of network distributed parallel computing environments whichhave been widely used on super parallel computers and networks. First,this paper describes the rssearch backgrounda...Message passing Interface (MPI) is a kind of network distributed parallel computing environments whichhave been widely used on super parallel computers and networks. First,this paper describes the rssearch backgroundand developing status of MPI. Then on this basis it will study and analyze the functions and features of MPI ,summa-rize its insufficiencies and gives some suggestions for modification.展开更多
随着高性能计算机技术的发展和应用,并行计算已成为保证数值天气预报模式业务运行时效的关键技术之一。目前高性能计算机计算能力已达到每秒千万亿次浮点计算,系统中处理器数量也早已达十万甚至更多,如此巨大的计算资源对应用软件系统...随着高性能计算机技术的发展和应用,并行计算已成为保证数值天气预报模式业务运行时效的关键技术之一。目前高性能计算机计算能力已达到每秒千万亿次浮点计算,系统中处理器数量也早已达十万甚至更多,如此巨大的计算资源对应用软件系统的设计也提出了挑战。数值天气预报软件系统要充分利用高性能计算机提供的计算资源,必须依靠并行计算方法,这包括适合计算问题的可扩展并行算法的设计、合适的数据分配方案以及良好的任务负载平衡方案。作为中国新一代数值天气预报格点模式,GRAPES(Global and Regional Assimilation and PrEdiction System)设计的最终目标是一个科研/业务通用,区域/全球通用模式。作为一个格点模式,GRAPES的并行计算具有与欧洲中期数值预报研究中心谱模式并行计算不同的特点,GRAPES的并行计算采用了经典的水平网格数据划分。但对于全球的GRAPES模式,由于采用拉格朗日差分方案,模式极地及附近区域格点与格点之间距离的减小,使得模式并行计算在采用简单的经纬网格划分方式实现时,必须考虑极地区域并行计算跨越多个处理器时导致的频繁通讯解决途径。本研究提出了利用消息传递组通讯实现全球格点模式并行计算的一种方法,其核心思想是将极点附近一定区域内的处理器按纬向划归不同的处理器组。文中还给出了该实现方法的任务分配算法,提出了改进的任务分配负载平衡方案。在中国气象局高性能计算机IBM-cluster1600上的测试表明,算法具有较好的可扩展性,其负载平衡方案改善了计算的绝对墙钟时间,使并行计算效率提高10%以上。模式的准业务运行结果表明计算墙钟时间基本可以满足数值预报业务的实时性要求。展开更多
文摘随着云计算技术的发展与成熟,并行计算在云环境中得到了越来越多的实践。服务器无感知计算作为云计算中的一种新型的应用部署与计算方式,允许用户弹性分配资源并实现负载均衡,并提供了更强的可扩展性和更大的灵活性。然而,无状态的特性导致服务器无感知计算框架并不完全适用于传统并行计算,其中通信是一个关键问题。本文提出了一个具有服务质量(quality of service,QoS)保障的通信框架FreeParallel,旨在基于服务器无感知计算中的函数即服务(function as a service,FaaS)平台构建面向并行计算的通信能力。FreeParallel结合了消息传递接口(message passing interface,MPI)并行计算编程模型,有效地保证了通信服务的质量;并采用代理模型来支持并行函数的识别和转换,并以服务形式灵活部署在多个FaaS或虚拟化平台上。此外,本研究还提出了函数间通信流量的QoS管理策略fm Clock,在保证传输公平性的前提下,实现基于请求和限制的通信原语级网络资源分配。实验结果表明,点对点通信场景下FreeParallel与虚拟化平台的覆盖网络相比传输性能略有不足,但比当前服务器无感知计算状态共享方案的传输效率有至少89.5%的提升。并且FreeParallel在集合通信场景下表现极佳,比基线方法提升了59.9%~83.1%。同时,带有fm Clock策略的FreeParallel能够实现原语级按比例分配策略,避免了不同原语间请求的交叉干扰,案例表明,策略的加入降低了应用25.0%的完成时间。
文摘Message passing Interface (MPI) is a kind of network distributed parallel computing environments whichhave been widely used on super parallel computers and networks. First,this paper describes the rssearch backgroundand developing status of MPI. Then on this basis it will study and analyze the functions and features of MPI ,summa-rize its insufficiencies and gives some suggestions for modification.
文摘随着高性能计算机技术的发展和应用,并行计算已成为保证数值天气预报模式业务运行时效的关键技术之一。目前高性能计算机计算能力已达到每秒千万亿次浮点计算,系统中处理器数量也早已达十万甚至更多,如此巨大的计算资源对应用软件系统的设计也提出了挑战。数值天气预报软件系统要充分利用高性能计算机提供的计算资源,必须依靠并行计算方法,这包括适合计算问题的可扩展并行算法的设计、合适的数据分配方案以及良好的任务负载平衡方案。作为中国新一代数值天气预报格点模式,GRAPES(Global and Regional Assimilation and PrEdiction System)设计的最终目标是一个科研/业务通用,区域/全球通用模式。作为一个格点模式,GRAPES的并行计算具有与欧洲中期数值预报研究中心谱模式并行计算不同的特点,GRAPES的并行计算采用了经典的水平网格数据划分。但对于全球的GRAPES模式,由于采用拉格朗日差分方案,模式极地及附近区域格点与格点之间距离的减小,使得模式并行计算在采用简单的经纬网格划分方式实现时,必须考虑极地区域并行计算跨越多个处理器时导致的频繁通讯解决途径。本研究提出了利用消息传递组通讯实现全球格点模式并行计算的一种方法,其核心思想是将极点附近一定区域内的处理器按纬向划归不同的处理器组。文中还给出了该实现方法的任务分配算法,提出了改进的任务分配负载平衡方案。在中国气象局高性能计算机IBM-cluster1600上的测试表明,算法具有较好的可扩展性,其负载平衡方案改善了计算的绝对墙钟时间,使并行计算效率提高10%以上。模式的准业务运行结果表明计算墙钟时间基本可以满足数值预报业务的实时性要求。
