相关文章推荐
大鼻子的椅子  ·  javascript - js ...·  1 年前    · 
逃跑的啤酒  ·  dotnet-dump ...·  1 年前    · 
怕老婆的跑步机  ·  NetCore-Serilog ...·  1 年前    · 

因为实验室的服务器联网出现问题,配环境很麻烦,只能离线。而正好有笔记本上已经配置好的miniconda3的环境(包括pytorch,python,以及自己实验所配置的环境),这个同样适用于anaconda的环境。
然后考虑将conda的环境封装成docker,然后放到服务器上跑代码。

1. 离线服务器上

保证有docker

2. 装有miniconda3的环境的设备上

1)安装docker

sudo apt  install curl
curl -s https://get.docker.com/ | sh

然后用docker -v看是否安装成功。
PS:
如果出现Docker“Got permission denied while trying to connect to the Docker daemon socket“问题
那就是因为没有在 root 用户的权限下,因此需要在前面都加上sudo即可。

2)在docker Hub上下载好装载有anaconda3的镜像

sudo docker pull continuumio/anaconda3

3) 在 continuumio/anaconda3 镜像的基础上创建容器并运行

//查看是否有continuumio/anaconda3 镜像 
docker image ls 
// run
docker run -itd continuumio/anaconda3(或者镜像id)
//查看容器id 
docker ps  
docker exec -it 镜像id bash

这样就能进入到continuumio/anaconda3 容器中

4)查找anaconda所在路径

在容器中输入whereis anaconda查找anaconda所在路径
发现路径是:
/opt/conda/envs

5)查找本地的miniconda的环境(就是你自己想封装的环境)

新建一个终端,打开miniconda文件夹,看到envs,进去则能看见你自己的环境
我的是在~/miniconda3/envs/SAC(SAC是我的环境名字)

6)复制环境

通过docker cp指令

sudo docker cp ~/miniconda3/envs/SAC b63116e4df5e:/opt/conda/envs

前面是本地miniconda的环境
后面是docker容器的环境,b63116e4df5e是容器id

7) 验证

这样,你的docker容器里面就有你的conda环境了,可以通过conda activate envs_name来研究是否成功

8)运用 docker commit 指令将运行的容器保存为镜像

sudo docker commit b63116e4df5e image_name

b63116e4df5e:容器id
image_name 创建镜像的名字,自己取

9)查看镜像

sudo docker image ls

则能看见你自己保存的镜像

10) 保存为tar文件

sudo docker save 镜像名 ~/download/myimage.tar

参考链接:
https://blog.csdn.net/u012759006/article/details/107624413

因为实验室的服务器联网出现问题,配环境很麻烦,只能离线。而正好有笔记本上已经配置好的miniconda3的环境(包括pytorch,python,以及自己实验所配置的环境),这个同样适用于anaconda的环境。然后考虑将conda的环境封装成docker,然后放到服务器上跑代码。保证有docker然后用看是否安装成功。PS:如果出现Docker“Got permission denied while trying to connect to the Docker daemon socket“问题
配置环境花了我一下午的时间,简单记录一下,希望能帮到一些新手。 1、下载PyCharm:https://www.jetbrains.com/pycharm/download/#section=linux 下载完后将压缩文件解压,然后打开终端执行: cd downloads/pycharm-2018.1/bin bash pycharm.sh 启动pycharm后需要注册,选择License server激活,然后填入:http://artemis.my.to,然后点Activate激活即可 2、下载Anaconda:https://repo.continuum.io/archive/ind
提示:文章写完后,目录可以自动生,如何生可参考右边的帮助文档 文章目录前言一、什么是Docker镜像、容器二、操作步骤1.拉取镜像2.用continuumio/anaconda3镜像创建一个名为test的容器3.进入test容器,查看conda位置4.在本地环境中将本地环境复制到docker中5.在本地环境中将本地代码复制到docker中6.将容器保存为镜像7.将镜像存为压缩包三、几个常用docker命令四、参考文献 本文主要讲解如何打包本地conda环境并生镜像和压缩包。如需要配置Dock
从零开始入门封装环境,本文主要讲解打包环境前的Docker配置工作,如不需要配置Docker,可直接跳转:(二) 文章目录前言一、Docker是什么?1.虚拟机和Linux容器二、Docker用途三、Docker安装1.Dcoker手动在线安装:四、Docker启动与停止1.启动Docker2.停止Docker3.重启Docker五、Docker配置1.将用户加入 Docker 用户组2.配置daemon.json3.重启Docker六、Docker打包conda环境 提示:这里可以添加本文要记录
Miniconda Python 3.7 Docker映像 该映像基于Alpine Linux映像,该映像仅为5MB映像,并包含Continuum与Conda软件包管理器一起打包的 。 该图像的下载大小仅为: 注意:Conda存储库仅包含Linux的Glibc链接打包二进制文件,因此我们必须在Alpine上使用。 $ docker run --rm frolvlad/alpine-miniconda3 python -c ' print("Hello World") ' 一旦运行了此命令,您将从Python打印“ Hello World”! 注意:此图像中也包含conda和pip 。
文章目录1 pip换源1.1 win下1.2 linux下2 conda换源2.1 win下2.2 linux下参考链接 Python经常需要安装一些库,但是默认使用的国外的源,真的非常非常慢,体验不佳,因此很有必要替换为国内的源。 1 pip换源 1.1 win下 打开appdata文件夹,在资源管理器的地址栏输入 %appdata% 后回车 回车后进入当前路径,新建一个 pip 文件夹 在pip文件夹里面新建一个配置文件 pip.ini 在该配置文件中写入一下内容 [global] index-url=https://pypi.tuna.tsinghua.edu.cn/simple mkdir -p ~ /tools ; cd ~ /tools # download, install and setup (mini/ana)conda # for Linux, use Miniconda3-latest-Linux-x86_64.sh # for macOS, opt 2: curl https://repo.anaconda.com/miniconda/Miniconda3-latest-MacOSX-x86_64.sh -o Miniconda3-latest-MacOSX-x86_64.sh wget https://repo.anaconda.com/miniconda/Miniconda3-latest-MacOSX-x86_64.sh chmod +x
容器化现有的conda环境 我使用conda环境来进行数据分析项目。 有时,如果软件包不在biocondaconda-forge上,则需要恢复使用pip或R的install.packages进行安装。 这使得很难在另一个系统上重现环境以及分析。 甚至存储为environment.yml文件的纯conda环境也可能损坏。 使用以下说明,可以将现有环境打包到Docker或Singularity容器中,该容器应具有更高的可移植性,并且还可以轻松地集到基于的。 Docker,Podman或Singularity 源conda环境必须在linux x64机器上。 包装环境 conda-pack -n <MY> -o packed_environment.tar.gz # With singularity singularity build --fakero
说明:本文档根据清华大学开源软件镜像Docker社区版镜像使用帮助撰写。基于Docker官方文档完善。鉴于我团队主要使用Ubuntu和树莓派进行开发,仅参考Ubuntu和树莓派部分即可。 1. Docker社区版(Docker-ce安装) 1.1 Debian/Ubuntu 用户安装步骤 以下内容根据官方文档修改而来。 旧的Docker版本可能叫做docker,docker-engine或者http://docker.io,如果你过去安装过 docker,先删掉: sudo apt-get..
在 Mac 系统下使用 conda 包管理器,我们经常会遇到一些问题,例如安装速度慢等,这时候我们需要更换 pip 和 conda镜像源来加快下载速度。 在此之前,我们需要了解以下两个概念,分别是 pip 和 conda: ① pip:是 Python 的一个包管理器,它的作用是安装或卸载 OpenStack 项目中的各种组件及依赖库等。 ② conda:是 Python 的另一个包管理器,它是 anaconda 发布的 Python 版本的核心组件之一,它的作用是进行 Python 库、环境、软件包的管理和部署。 为了更好地解决这些问题,我们需要找到一个可以更快下载安装包源的镜像 source 来加速下载。目前常用的国内镜像源有阿里云,清华大学镜像站等,这里我们以清华大学镜像源为例。 1. 更换pip镜像源 打开终端,输入以下代码: pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple 此时,pip 镜像源已功更换为清华大学镜像源。 2. 更换conda镜像源 同样打开终端,输入以下代码: conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/bioconda/ conda config --set show_channel_urls yes 这时,就完了 Mac 下 conda 环境更换 pip 和 conda 镜像源的操作,可以为我们在使用过程中带来更快的下载速度,提升使用体验。