-
题名基于Singularity的超算资源容器化
- 1
-
-
作者
王祥凯
-
机构
山东正云信息科技有限公司
-
出处
《信息技术与信息化》
2024年第6期120-126,共7页
-
文摘
深度学习往往伴随着大量的计算,属于典型的高性能计算(HPC)应用。基于Python的深度学习中往往使用PyTorch或者TensorFlow库,环境的配置与管理极为复杂,可重复性低,导致代码的升级、管理、测试、迁移成为大难题。为此,诞生了容器化技术。容器化技术以Docker为代表,通过在迁移代码的同时迁移代码运行环境,从而避免了代码在移植的时候存在繁杂的环境配置过程。但是超算服务器与普通的服务器又有很大的差别,如开发人员无root权限,测试代码时需要进行资源管理(内存,CPU)。这些问题都让Docker技术在HPC环境的应用受限,针对以上问题,使用Singularity代替Docker,在神威蓝光II型超级计算机上尝试生成了Python3.7+Numpy+Pandas+Scipy数据科学计算环境的Singularity镜像文件,在阿里云服务器上无root权限创建容器并成功运行了距离判别Python计算程序。结果表明,使用Singularity可以解决Docker在服务器上面的root权限问题,有助于深度学习环境在不同HPC服务器上面的部署。
-
关键词
容器化技术
高性能计算(HPC)
DOCKER
SINGULARITY
-
分类号
TP18
[自动化与计算机技术—控制理论与控制工程]
TP393.09
[自动化与计算机技术—计算机应用技术]
-
