深度学习远程服务器配置

在深度学习的科研任务中,很多模型的运行都会用到 GPU 和显存,如果个人计算机的配置有限,我们通常会在单位提供的算力更高、性能更好的服务器上跑大型的模型代码。当然,在正式使用服务器之前,需要向服务器的管理员申请个人账号,然后在自己的工作目录下进行深度学习的环境配置。

1. 服务器安装 Anaconda

我们配置深度学习的 Python 环境时,一般会用到 Anaconda 包管理工具(里面自带 Python 和很多模块),可以在清华的镜像网站 https://repo.anaconda.com/archive/index.html 上下载对应版本的 Anaconda 进行安装。

由于服务器大多都是 Linux 操作系统,所以这里选择安装的是 2020.11 发布的 Anaconda3-2020.11-Linux-x86_64.sh ,然后再将软件包通过软件传输工具(推荐Xftp5)发送到服务器的个人目录下。

在终端命令下输入安装指令: bash Anaconda3-2020.11-Linux-x86_64.sh

当然也可以直接通过 bash 指令完成下载和安装:

  • 下载: wget https://repo.continuum.io/archive/+下载的Anaconda版本
  • 安装: bash 下载的Anaconda版本
wget https://repo.anaconda.com/archive/Anaconda3-2020.11-Linux-x86_64.sh
bash Anaconda3-2020.11-Linux-x86_64.sh

配置PATH环境变量:在终端输入命令 vi .bashrc 进行环境配置

在文件末尾添加:export PATH=/home/trainingl/anaconda3/bin:$PATH,注意这里 /home/trainingl/anaconda3/bin 是我的实际安装路径。

测试环境,查看版本:服务器上 Anaconda 安装完成之后,可以在终端中输入 python,查看当前版本

2. 配置清华镜像源

  在使用服务器环境下的 Linux 操作系统时,难免会下载很多本地没有的包,而 Linux 使用的下载源服务器在国外,下载速度相对国内会慢很多,日常使用的阿里云和腾讯云等国内服务器厂商,镜像源都默认为自己相关的镜像源,所以在使用时下载应用的速度很快。这里我选择了清华镜像源进行配置。

添加清华镜像包管理【顺序执行】:

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --set show_channel_urls yes
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/

查看已添加的源:conda config --show-sources

3. 创建和管理虚拟环境

首先我们要搞清楚为什么要创建虚拟环境?虚拟环境又是一个什么概念?

  从实际的科研背景下,我们可能会面临很多不同的任务,而这些任务对 Python 的环境要求不一致,并且可能某些包或库在版本上会起冲突,比如做深度学习任务有时会用到 PyTorch,而有时会用到 TensorFlow,我们希望这两个库能在两个独立的 Python 环境下运行该多好啊!所以 Anaconda 推出虚拟环境的包管理工具,我们可以通过 conda 命令在 env 目录下创建不同的虚拟环境,这些虚拟环境下可以分别安装适应不同任务的 Python 包或模块,这些环境可以随意切换使用,而且不会产生冲突。

1、查看当前系统所有的conda环境:conda env list

从结果中可以看到有两个虚拟环境,其中的 base 是一个基础环境,是安装 Anaconda 自动生成的一个基本环境,而另一个名称为 train 的则是我创建的一个虚拟环境。

2、创建虚拟环境:conda create -n envName python=3.7

说明:在安装虚拟环境时会附带的安装一些基础的库文件.

3、激活虚拟环境:source activate envName

4、退出虚拟环境:source activate

注意:退出虚拟环境时不要加名称参数,直接 source activate.

5、删除虚拟环境:conda remove -n your_env_name(虚拟环境名称) --all

6、删除虚拟环境下不需要的包:conda remove --name your_env_name package_name

7、进入已有的虚拟环境,查看安装了那些包:conda list

4. 安装 PyTorch 深度学习框架

  在安装 PyTorch 深度学习框架时,首先需要知道当前服务器的 CUDA 版本。当然在服务器的 CPU 环境下是无法找到的,所以需要用户切换到 GPU 环境下,一般学校的服务器会有多张显卡,但需要根据显卡的使用权进入对应的 gpu 环境,输入指令 nvcc -V 查看当前 CUDA 版本

可以看到当前 CUDA 版本是 9.0,考虑到后面会安装PyG,所以这里我安装的是 PyTorch1.7.1 和 CUDA 10.1的。根据该版本在 PyTorch官网 上寻找对应的安装命令:

注意:安装对应的版本的 PyTorch 时,一定要切换到对应的虚拟环境下。另外有的学校服务器只能在 cpu 环境下才能联网,而 gpu 环境处于无网环境即仅用于计算,所以在 gpu 环境通过 nvcc -V 查看 CUDA 版本后,及时切换到 cpu 环境下。

需要经过比较长的等待时间,然后测试是否安装成功。将 cpu 切换到 gpu 环境下,进入 gpu 环境一定要进入安装 torch 的虚拟环境下进行测试。

import torch
print(torch.cuda.is_available())

可以发现 pytorch 1.7 安装成功并且 CUDA 能正常使用。

深度学习远程服务器配置  在深度学习的科研任务中,很多模型的运行都会用到 GPU 和显存,如果个人计算机的配置有限,我们通常会在单位提供的算力更高、性能更好的服务器上跑大型的模型代码。当然,在正式使用服务器之前,需要向服务器的管理员申请个人账号,然后在自己的工作目录下进行深度学习的环境配置。1. 服务器安装 Anaconda  我们配置深度学习的 Python 环境时,一般会用到 Anaconda 包管理工具(里面自带 Python 和很多模块),可以在清华的镜像网站 https://repo.ana 总结一下需要注意的点: 1.anaconda与要使用的python的版本要互相对应。 2.pycharm要装上python的解释器,在project interpreter中可以找到。 3.这次用的anaconda真的香,比如sklearn就不用自己安装,上一次用pip安装时候有各种依赖的血泪史我至今还记得。 4.安装keras之前要安装tensorflow,并且版本要互相兼容。 5.我出现了命令行import cv2成功,但是pycharm中import cv2报错的现象。 我在anaconda中安装openc
无论在企业还是科研实验室,都需要借用服务器环境进行算法模型的训练,此处总结了如何在以linux为内核的服务器下搭建训练深度学习算法模型环境及相关的步骤操作: 介绍远程连接服务器工具、查看服务器属性及配置、安装管理服务器窗口进程工具、创建独立的虚拟环境、如何用专业版pycharm工具实现本地和服务器的代码实时同步、如何在pycharm中连接虚拟环境中的jupyter服务并实现代码同步。 前提是拥有服务器账号(包括用户名、ip地址、密码、端口号)。
更新一下服务器的安装,这个玩意不是专业人员操作真的容易自闭,所以安装不好的童鞋们赶紧抱大腿。 总结一下自己安装步骤和用到的指令,我的安装是基于没有root权限下面的安装,所以在安装完anaconda之后直接进入base环境,当然没进入base环境也安装不了jupyter,原因不清楚,在外部环境会no such file。 第一步:安装anaconda 1.通过xftp传输下载Windows系统的a...
进入实验室以后,大家就会用实验室的服务器跑一些深度学习模型。如何连接服务器,以及连接服务器后如何配置conda和PyTorch深度学习框架,在此进行详细的介绍。 首先,在连接服务器之前,需要向服务器的管理员申请个人账号。 接下来我详细介绍连接服务器后如何配conda+pytorch环境 1.安装Anacond 2.配置清华镜像源 3.创建虚拟环境 4.安装PyTorch深度学习框架
最近做毕业设计,需要利用实验室的服务器,远超登录并且配置服务器环境。记录一下比较完整的配置流程。 ssh远程登录与文件传输 我的电脑是windows的,主要讲解一下windows的登录方式。我使用的是Xshell 7进行ssh登录的,ssh登录的软件很多,选择一个即可。文件传输我是使用Xftp 7登录的。这两个可以在官网通过邮件下载。然后通过IP地址、用户名和密码即可登录。 在指定位置anaconda安装 anaconda能很方面的进行包管理,所以需要在服务器上安装anaconda。由于服务器的anacon
什么是远程登陆服务器跑深度学习程序: 我最开始跑程序都在cpu或者谷歌云端,最近刚开始有gpu服务器,有空可以写一下谷歌云端跑程序教程,对于没有gpu服务器的可以考虑蹭谷歌云端的gpu,缺点就是非常不稳定,跑一个小网络可能要掉线三四次,很崩溃。 远程登陆服务器跑深度学习程序:在远程服务器上搭建跑程序的环境,然后把你想跑的程序及相关的文件传到远程服务器上,用命令行或者Pycharm或者Jupyter Notebook开始调试程序。也就是本机只是控制作用,程序的运行是在服务器上,利用了服务器的gpu可以加快深度
Pycharm远程服务器环境是指在Pycharm中连接到远程服务器,以便在远程服务器上运行和开发项目。首先,需要确保使用的是Pycharm专业版,因为免费的社区版本无法连接到远程服务器。然后,根据以下步骤进行设置: 1. 连接服务器并设置文件映射位置:在Pycharm中选择"File"菜单下的"Settings"选项,然后展开"Build, Execution, Deployment",选择"Deployment"。在这里,需要添加一个新的服务器配置,并填写远程服务器的相关信息,如主机名、用户名和密码等。接下来,需要设置文件映射位置,将本地项目与远程服务器上的文件相对应起来,以便进行文件同步和管理。 2. 设置服务器上的解释器Interpreter:在Pycharm中选择"File"菜单下的"Settings"选项,然后展开"Project Interpreter",点击右上角的齿轮图标,选择"Add Remote",并选择远程服务器的连接配置。在这里,需要选择远程服务器上已安装的Python解释器,以确保可以在远程服务器上运行项目所需的Python环境。 3. 设置文件自动同步控制:在Pycharm中选择"File"菜单下的"Settings"选项,然后展开"Build, Execution, Deployment",选择"Deployment"。在这里,可以设置文件自动同步的选项,例如在保存文件时自动上传到远程服务器或者在远程服务器上的文件发生变化时自动下载到本地。 通过以上设置,就可以在Pycharm中连接到远程服务器环境,并使用远程服务器上的Python解释器来运行和开发项目了。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [【Pycharm连接远程服务器环境搭建(图文详解)】](https://blog.csdn.net/mosquito_s/article/details/130612514)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* [Pycharm配置远程访问服务器(深度学习环境)](https://blog.csdn.net/hesongzefairy/article/details/96276263)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]