在还没出装机视频前，李沐老师曾发起了一个小小的问卷调查，趁着显卡降价，看下童鞋们对装机跑Transformer有多大兴趣。
当时，就连华为天才少年「稚晖君」都来点赞了，足见大家还是很期待的。
这不，沐神带着他的装机视频来了。怎样用最低的成本训练一个100亿模型？
而就在最近，币圈也在一直降温，同时GPU也明显降价了不少，就比如英伟达3090TI现在售价1600美元（原价2000美元）。
在这个项目的开始，先装了2台原型机，每台机器都是双卡RTX 3090TI，采用了水冷散热系统，减少了噪音。
一台机器装下来，造价有5000多美元，大约3万5人民币。
话不多说，来看看沐神如何装机的吧～
装机的需求，首先就要是足够安静。不然太吵的话没法工作。
第二个需求就是散热要好。不然温度过高的话会导致GPU降频。
第三个，重点来了，因为需要跑比较大的Transformer模型，所以GPU的带宽必须足够好。
如果之前装过GPU服务器用来跑CNN的话，跟跑Transformer模型的需求会不太一样。因为Transformer模型比CNN模型要更大，对内存的占有率会更高。所以GPU的内存大小非常重要。
之前沐神也讲过，要把这样大的Transformer模型放到多个GPU上训练，来自谷歌、微软等的工程师都是使用类似DGA X100这样的机器来跑的。即使在这样的机器上，GPU的带宽仍然是一个瓶颈。
购买这种服务器GPU和游戏GPU的区别就在于，前者不在于单卡能跑多快，而是卡与卡之间能够多快地连接出来。
因此装机理念的重点就是：尽量增大GPU内存，以及GPU之间互联的一个带宽，
如果一台机器想放很多卡的话，就要买涡轮的散热。
如果想要安静的话，就买水冷的散热，沐神买的是4块3090 TI。用水冷的好处是比较安静，坏处就是特别占地方。
所以，如果要在机箱放四块卡的话，就不要买水冷的版本，而是要买只有一个涡轮风扇的版本。
而且机箱里风的流向是一个特别重要的问题。如果买带3个风扇的卡，风是从正面进入机箱，然后从四面八方散热，卡挨得紧的话，机箱里的温度就会非常高。
沐神也说，自己在多年前，买了四块2个大风扇的卡放在一起，结果就导致一块卡温度过高烧掉了。
GPU选好以后（华硕的ROG)， 剩下的配置就比较简单。CPU用的是AMD的12核CPU，主板是号称PCIE 4.0 16的某牌子，硬盘是2 TB的M.2的硬盘，风扇是120毫米水冷风扇，加一个全尺寸机箱。
装机清单完成后，接下来就是具体的装机过程了。步骤如下：
首先放GPU。注意，放的过程中一定不能用手碰金属的地方，如果有静电的话非常容易造成GPU导电。
把GPU放进去之后，把螺丝拧上。然后把风扇装进去。
插上电源后，把电源线和水管线绑在一起。然后把NVLink的桥给连上去。
最后连上电源，机器就可以运行了。
在装机完成后，下一步的任务就是继续装上操作系统。
沐神装的是ubuntu22，装上之后就靠远程连上去了。
当然了，沐神也是把各种情况说的比较详细，除了ubuntu22以外，windows和linux在不同的需求下也是可以的。
这里沐神用的SSH进行的远程连接。
沐神的系统已经装上了驱动，同时，他也指出如果还没有驱动的话，也可以用apt-get装上nvidia-driver-515。
装好之后，就可以运行nvidia-smi，看到系统了。
从中可以看到各项信息。比如GPU的数量、温度、瓦数、内存使用等等。
接下来还可以通过nvidia-smi的topo-m矩阵看到nv-link是否正常。
可以看到两个GPU由NV4连接。4表示4个通道，这就代表连接是正常的。
下一题，是测试系统在满负荷的情况下的温度。
沐神表示，测试GPU的是一个叫gpu-burn的小程序，github上可以下载。
这里沐神模拟跑了十分钟，也是看到了两个GPU的温度。沐神还打趣说，都能感觉到GPU在呼呼吹热风。
同理，CPU也可以用这种办法测试温度，用的是cpu-burn。
最终两个GPU的温度停留在58度和55度，功耗拉到了440多瓦（满功耗480瓦），还挺好的。
最后的一项参数是机器的耗电情况。沐神的测试大概用了1240瓦，意味着每小时用电1.5度。
从目前的数据来看，稳定性还ok。
至于用这台机器跑Transformer性能怎么样，还得等下期视频了。
视频发出后，b站的网友也表示出了极大的兴趣。
有满分课代表同学出没，列出了视频中提到的完整配置清单。
还有网友火速前来围观，「跟李沐学装机」。
沐神自己表示，感觉3090ti的卡不是太行。马上有网友搭腔，「不行就抽了送人吧。」
当然了，这种硬核装机视频下的评论肯定少不了幽默因素。
只能说，太真实了。
参考资料：
https://b23.tv/KIRbVC3
点击进入—>
CV 微信技术交流群
CVPR 2022论文和代码下载
后台回复：
CVPR2022，
即可下载CVPR 2022论文和代码开源的论文合集
后台回复：
Transformer综述，
即可下载最新的3篇Transformer综述PDF
目标检测和Transformer交流群成立
扫描下方二维码，或者添加微信：CVer6666，即可添加CVer小助手微信，便可申请加入CVer-目标检测或者Transformer 微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer等。
一定要备注：研究方向+地点+学校/公司+昵称（如目标检测或者Transformer+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群
▲扫码或加微信: CVer6666，进交流群
CVer学术交流群（知识星球）来了！想要了解最新最快最好的CV/DL/ML论文速递、优质开源项目、学习教程和实战训练等资料，欢迎扫描下方二维码，加入CVer学术交流群，已汇集数千人！
▲扫码进群
▲点击上方卡片，关注CVer公众号
整理不易，请点赞和在看
原文链接：
https://mp.weixin.qq.com/s?__biz=MzUxNjcxMjQxNg==&mid=2247555329&idx=3&sn=a8403dfe8574f6727818a5b2c51f0844&chksm=f9a16b8eced6e29829659ecde5e284a9bee004b96723f1b0395ba21239e15358ec58ccf894a0&scene=126&&sessionid=0
学习
深度学习
时候，很多人参考的是
李沐
的动手学
深度学习
Pytorch版本（附上官方地址：https://tangshusen.me/Dive-into-DL-PyTorch/#/）。
在学习3.5.1节 “获取数据集” 时，会遇到d2lzh_pytorch包缺少的问题，经过查阅资料，下面方法可以解决这个问题。
import torch
import torchvision
import torchvision.transforms as transforms
import matplotlib.pyplot as plt
import
ti
me
import sys
sys.path.appe
安装pytorch
conda install pytorch==1.8.0 torchvision==0.9.0 torchaudio==0.8.0 cudatoolkit=11.1 -c pytorch -c conda-forge
pip install cython matplotlib opencv-python termcolor==1.1.0 yacs==0.1.8
RTX
3090Ti
流处理器数量为10752个，相比
RTX
3090
在流处理器上多了256个，加速频率达到了1860MHz，相比
RTX
3090
的1695MHz提高了10%，显存频率也从19.5GHz提高至21GHz，显存带宽直接升级1TB/s，这也是GeForce显卡首次突破1TB/s大关，不过性能提升后，TDP功耗也提高了100W，外接供电从12Pin变成了16Pin，意味着
RTX
3090Ti
供电需求更高。5、最强的提升就是工号了，
3090ti
的功耗相比
3090
提升了100w，达到了450w。...
11 月 21 日- 11 月 22 日，
AI
Con全球
人工智能
与
机器学习
技术大会在北京顺利召开，该大会由极客邦科技旗下 InfoQ 中国主办，为期 2 天。主要面向各行业对
AI
技术感兴趣的中高端技术人员。北京市科学技术委员会为大会指导单位，北京智源
人工智能
研究院为大会支持单位。
本届大会邀请了来自国内外顶级
人工智能
实验室、知名企业以及高校学术界的 1000 多位嘉宾。覆盖计算机、金融、医疗、工业等多个领域。大会联席主席分别为，依图科技CTO 颜水成、AWS
AI
Principal Scien
ti
st
李沐
、小米集团副总裁、技术委员会主席崔宝秋、百度技术委员会主席吴华、英特尔高级首席工程师戴金权。
大会聚焦
AI
最前沿技术、产业化和商业化的动态，重点关注了
人工智能
的落地实践，
人工智能
技术领域的行业变革与技术创新。演讲主题，涉及NLP应用和实践、
计算机视觉
、
机器学习
应用和实践、
AI
与产业互联网等重要议题。邀请到了来自微软、Intel、AWS、BAT、美团、京东等国内外一线互联网公司的60+
AI
技术大咖带来精彩的演讲。
进入干货之前，先简单自我介绍一下吧，笔者主要从事
深度学习
CV领域，近一年，由于工作需要，再加上个人兴趣，在目标检测、实例分割任务方面，花了不少时间调研和阅读论文。
对此，笔者也跑过了无数实验，参加过大大小小的比赛，emmm，有最终获得第一的，有遗憾获得第二的，有初赛就被淘汰无缘复赛的，也有做到一半由于各种原因放弃的，有机会以后可以和大家唠一唠...
言归正传，今天想和大家分享的独家干货是，MMDetec
ti
onV2 + ResNeSt +
RTX
3090
的训练实录，CVer会比较熟悉，这三款分别来自框架
已安装cudnn版本：cudnn-10.0-linux-x64-v7.4.2.24.tgz
需求：与服务器无关，大家只要是Ubuntu16.04系统即可参考。由于目前需求，需要扩充一张3080
Ti
显卡，但全网关于2080T
1.GPU在Pytorch中使用
在PyTorch中，每个数组都有一个设备（device）， 我们通常将其称为上下文（context）。 默认情况下，所有变量和相关的计算都分配给CPU。 有时上下文可能是GPU。 当我们跨多个服务器部署作业时，事情会变得更加棘手。 通过智能地将数组分配给上下文， 我们可以最大限度地减少在设备之间传输数据的时间。 例如，当在带有GPU的服务器上训练神经网络时， 我们通常希望模型的参数在GPU上。
1.1使用nvidia-smi命令来查看显卡信息。
! nvidia-smi #
3、功耗方面，
rtx
3090ti
的默认功耗为450W，比
3090
高了100W，根据官方推荐来看，建议使用900W甚至1000W以上电源。1、首先，相比于此前
rtx
3090
的阉割版GA102核心，这次
rtx
3090ti
终于采用了全规格GA102核心。7、不过我们玩游戏的时候，也不太会开到DSR8k，所以正常玩游戏是完全足够，甚至非常优秀了。4、在游戏性能测试方面，2k分辨率下大部分的3A级别游戏都能稳定在140fps以上。6、当画面提高到DSR8K时，性能就不太稳定了，有的能到80，有的甚至不足20。...
为了快速配置基于pytorch的
深度学习
工作环境，现对Ubuntu20.04 +
RTX
3090ti
+cuda11.6+ cudnn8.4.1 +pytorch安装过程进行简要记录。为了保持权威性，在此过程中，本文尽量引用官方安装指导。
