随着人工智能大模型训练与推理业务的快速发展,智算中心面临算网协同调度的新挑战。为优化分布式智算Ring Allreduce业务的部署问题,首先,通过扩展传统波平面,开发了算力波平面技术,实现了算力与网络资源的一体化虚拟管理。然后,基于算...随着人工智能大模型训练与推理业务的快速发展,智算中心面临算网协同调度的新挑战。为优化分布式智算Ring Allreduce业务的部署问题,首先,通过扩展传统波平面,开发了算力波平面技术,实现了算力与网络资源的一体化虚拟管理。然后,基于算力波平面,提出了一种高效路由、波长、算力和时隙分配(routing,wavelength,computing power and time slot assignment,RWCTA)算法用于环规约(Ring Allreduce)业务部署。仿真结果表明,与传统基于波平面的部署算法相比,基于算力波平面的RWCTA算法能有效降低62.4%的总业务完成时间和54.5%的平均业务计算时间。展开更多
稀疏线性方程组求解等高性能计算应用常常涉及稀疏矩阵向量乘(SpMV)序列Ax,A2x,…,Asx的计算.上述SpMV序列操作又称为稀疏矩阵幂函数(matrix power kernel,MPK).由于MPK执行多次SpMV且稀疏矩阵保持不变,在缓存(cache)中重用稀疏矩阵,可...稀疏线性方程组求解等高性能计算应用常常涉及稀疏矩阵向量乘(SpMV)序列Ax,A2x,…,Asx的计算.上述SpMV序列操作又称为稀疏矩阵幂函数(matrix power kernel,MPK).由于MPK执行多次SpMV且稀疏矩阵保持不变,在缓存(cache)中重用稀疏矩阵,可避免每次执行SpMV均从主存加载A,从而缓解SpMV访存受限问题,提升MPK性能.但缓存数据重用会导致相邻SpMV操作之间的数据依赖,现有MPK优化多针对单次SpMV调用,或在实现数据重用时引入过多额外开销.提出了缓存感知的MPK(cache-awareMPK,Ca-MPK),基于稀疏矩阵的依赖图,设计了体系结构感知的递归划分方法,将依赖图划分为适合缓存大小的子图/子矩阵,通过构建分割子图解耦数据依赖,根据特定顺序在子矩阵上调度执行SpMV,实现缓存数据重用.测试结果表明,Ca-MPK相对于Intel OneMKL库和最新MPK实现,平均性能提升分别多达约1.57倍和1.40倍.展开更多
针对过程复杂且结构未知的对象,在保证模型有效性的前提下,根据数据信息构建简单模型来简化控制器的求解是亟待解决的问题。以受控自回归模型为例,提出一种基于修正最小角回归算法的稀疏辨识方法。首先将系统模型转化为过参数化的高维...针对过程复杂且结构未知的对象,在保证模型有效性的前提下,根据数据信息构建简单模型来简化控制器的求解是亟待解决的问题。以受控自回归模型为例,提出一种基于修正最小角回归算法的稀疏辨识方法。首先将系统模型转化为过参数化的高维稀疏模型,然后将最小角回归算法用于稀疏系统辨识,并提出绝对角度停止准则,使算法经过少量的迭代即可获得模型的稀疏参数估计,并同时获得有效的时滞和阶次估计。结合辨识得到的受控自回归模型,引入一种基于指定相位点频率和增益的比例-积分-微分(proportional integral derivative,PID)控制器。数值仿真和平衡机器人的姿态控制仿真表明,该稀疏辨识算法在低数据量下具有较高的辨识精度,建立的模型具有较好的泛化性能,控制器具有良好的控制效果。展开更多
文摘随着人工智能大模型训练与推理业务的快速发展,智算中心面临算网协同调度的新挑战。为优化分布式智算Ring Allreduce业务的部署问题,首先,通过扩展传统波平面,开发了算力波平面技术,实现了算力与网络资源的一体化虚拟管理。然后,基于算力波平面,提出了一种高效路由、波长、算力和时隙分配(routing,wavelength,computing power and time slot assignment,RWCTA)算法用于环规约(Ring Allreduce)业务部署。仿真结果表明,与传统基于波平面的部署算法相比,基于算力波平面的RWCTA算法能有效降低62.4%的总业务完成时间和54.5%的平均业务计算时间。
文摘稀疏线性方程组求解等高性能计算应用常常涉及稀疏矩阵向量乘(SpMV)序列Ax,A2x,…,Asx的计算.上述SpMV序列操作又称为稀疏矩阵幂函数(matrix power kernel,MPK).由于MPK执行多次SpMV且稀疏矩阵保持不变,在缓存(cache)中重用稀疏矩阵,可避免每次执行SpMV均从主存加载A,从而缓解SpMV访存受限问题,提升MPK性能.但缓存数据重用会导致相邻SpMV操作之间的数据依赖,现有MPK优化多针对单次SpMV调用,或在实现数据重用时引入过多额外开销.提出了缓存感知的MPK(cache-awareMPK,Ca-MPK),基于稀疏矩阵的依赖图,设计了体系结构感知的递归划分方法,将依赖图划分为适合缓存大小的子图/子矩阵,通过构建分割子图解耦数据依赖,根据特定顺序在子矩阵上调度执行SpMV,实现缓存数据重用.测试结果表明,Ca-MPK相对于Intel OneMKL库和最新MPK实现,平均性能提升分别多达约1.57倍和1.40倍.
文摘针对过程复杂且结构未知的对象,在保证模型有效性的前提下,根据数据信息构建简单模型来简化控制器的求解是亟待解决的问题。以受控自回归模型为例,提出一种基于修正最小角回归算法的稀疏辨识方法。首先将系统模型转化为过参数化的高维稀疏模型,然后将最小角回归算法用于稀疏系统辨识,并提出绝对角度停止准则,使算法经过少量的迭代即可获得模型的稀疏参数估计,并同时获得有效的时滞和阶次估计。结合辨识得到的受控自回归模型,引入一种基于指定相位点频率和增益的比例-积分-微分(proportional integral derivative,PID)控制器。数值仿真和平衡机器人的姿态控制仿真表明,该稀疏辨识算法在低数据量下具有较高的辨识精度,建立的模型具有较好的泛化性能,控制器具有良好的控制效果。
