写在前面
近期,组织了第三期暑期培训,想想也有四个年头。另外,分别给本科生和硕士生均分别讲过一学期的生物信息数据分析课程,其中实践部分,以往使用的是 VituralBox。好处在于可以完全模拟服务器环境,从硬件到软件。而不好的地方在于,对应的环境几乎只适合与学习或练习,无法直接使用到生产环境。
如此,即使学生掌握得再熟练,真正到生产环境时,也就是他们的服务器时,需要重新配置一次环境。尽管,conda等方式已经比较方便,但还是不够方便。
基于此,我一直使用 docker 的想法。经过一年左右的筹备,终于还是下定决定使用 docker 环境作为学生联系。此举最大好处在于:
有了这些为基础,只要学生掌握课程上的内容,那么课程相关镜像,完全直接用于他们个人电脑、服务器甚至计算集群上。
前述,关于 docker 已经做了不少介绍,感兴趣的朋友可以翻看往期推文。今次,主要介绍,如何将自己创建的 docker 镜像转换为 singularity 镜像,以及转换之后,如何使用。
docker 镜像转换为 singularity 镜像
准备一个本地的 docker 镜像
为了方便演示,首先,建立本地的 docker 仓库服务(用的也是 docker),注意:如果是windows,那么需要在 wsl2 中安装好 docker 后执行。
sudo docker pull centos:7
sudo docker run -it centos:7 #进入,exit可以退出环境
#查看docker已有的镜像
sudo docker images
#REPOSITORY TAG IMAGE ID CREATED SIZE
#centos 7 eeb6ee3f44bd 9 months ago 204MB
利用docker官方提供的registry镜像,搭建本地docker仓库镜像服务
sudo docker pull registry
#查看本地ip
ip addr
#ip为127:0:0:1
将本地的 docker 镜像上传到 本地的 docker 镜像仓库(有点绕,事实上,此处就是通过构建本地镜像仓库来替代 hub.docker.com 官方提供的仓库服务)
sudo docker run -d -p 5000:5000 -v /opt/data/registry:/var/lib/registry registry
#查看是否建好仓库
sudo docker ps
#设置上传镜像的tag
sudo docker tag centos:7 127.0.0.1:5000/centos:7
#上传到本地仓库
sudo docker push 127.0.0.1:5000/centos:7
#查看仓库的镜像
curl http://127.0.0.1:5000/v2/_catalog
使用 singularity 转换镜像为 docker 镜像
#从本地仓库转化成sif镜像
singularity build --no-https mycentos.sif docker://127.0.0.1:5000/centos:7
如此,输出的 mycentos.sif 即可用于分发。到任何生产环境,服务器或者集群,只需要
#转成可写读的sandbox
singularity build --sandbox ./centos centos_centos7.9.2009.sif
#进入centos
singularity shell -w centos
实例:导入xialab2022暑期培训docker镜像
根据上述的措施/先load -i 本地docker镜像后,再上传到本地仓库,再被singularity转换为sif镜像文件。学生只需要下载培训期间提供的scauclass.sif文件,即可用于个人服务器或集群
#转换为sandbox
singularity build --sandbox ./scauclass scauclass.sif
singularity run scauclass conda --help
当然,可能需要注意的是暑期培训镜像有conda环境,几乎所有软件都是建立在conda环境下。
接下来我们需要解决怎么调用scauclass镜像的conda环境?
singularity run scauclass conda info -e
Singurlity 的优势:
在使用Singurlity过程下,几乎是没有使用到权限。方便了集群普通用户使用已经打包好的沙盒/镜像文件。Docker不管是安装、使用、修改都必须要有权限。