|
|
没有GPU可以做深度学习吗？
关注者
229
被浏览
238,999
36 个回答
对初学者来说ＣＰＵ足以。以下几点：
1) 先把ＣＰＵ利用好 ： 其实对于很多初学者来说能把OpenMPI配置好，多线程利用起来，Ｃ底层程序用Intel MKL编译(需要Intel CPU)，基本上可以带来的效率提升可以近似于用GPU。
2) 然后利用好你自己的时间 : 貌似现在道听途说一般的结论是GPU比CPU提速10倍左右。。。大家想想，训练一个模型，本来要CPU跑１０个小时，结果买了ＧＰＵ只用１一个小时，但是节约来的９个小时里面一半浪费在了看知乎上（说你呢！），另一半浪费在了刷微信上。。。 本屌最近跑些NLP方面的东西，东西不是特别大，Ubuntu笔记本装了OpenMPI可以四个线程一起跑，也比单核CPU快一倍左右，基本上白天先把模型设置好，跑上3~4个Epoch看看效果，然后在晚上睡觉之前开始跑个20-30个循环，第二天早上怎么也都好了。
3) 最后设计好数据结构 : 另外其实数据预处理的好，用简便的方法存在内存里面，也是可以提升不少效率的。以前跑过几个东西发现特别慢，仔细一想是IO方面拖慢了进程，简化了一下数据结构，整个数据集只有一次硬盘读写，一下就快了很多。当然可能有人说这个对图像处理不适用啦，当然如果要做异步读写的话水就很深了，分布式计算自身就可以灌水了，比如SVN Vishi的NOMAD，
http:// arxiv.org/abs/1312.0193，其思想用到深度学习也只是时间问题。
这里一些资源：
-
Ubuntu 安装BLAS以利用多个线程
Easy Installation of an Optimized Theano on Current Ubuntu
- Intel MKL: Theano on Scinet update: linking MKL blas
kaggle、colab、ai studio都有免费的gpu资源
kaggle：每周30h tpu资源+至少30h gpu资源
colab：按天分配，不明确时间，按经验至少8h gpu，tpu也有，没怎么用过，不清楚
ai studio：每天运行notebook就给8张算力卡，16GB显存的卡0.5张/h，32GB显存的1张/h，4*32GB显存的4张/h
其中，ai studio不支持除paddlepaddle外的深度学习框架；kaggle和ai studio都支持后台运行，但colab不支持；colab可以氪金，专业版10刀一月，据说几乎没使用限制；ai studio网页运行每周最多用48h gpu，后台运行无限制