一轮要跑几个小时
import torch
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
print(device)
原来是没用GPU
点击修改 -> 笔记本设置->硬件加速器改为GPU,保存即可
解决Google Colab 读取Google Drive(云盘) 文件速度慢。问题描述:
使用colab的时候,当需要从云盘中读取(图片)数据时,相比于本地磁盘读取,速度非常慢。
一、必看:
谷歌给我们提供了yunGPU,挺好用的,但是坑多。我voc2007+voc2012数据集,训练集总共20000多张图片,第一步训练就需要花费2个多小时,总共也才6个小时左右,所以提高训练速度很重要。训练速度慢的原因主要是,每一批次都需要去google drive上去读,所以说第一步特别慢。
二、解决思路是,
1、先在自己电脑上压缩成.zip文件,上传到google drive(谷歌云盘)
2、在把zip文件复制到工作目录,在继续训练,速度大大提高,第一步训练提高到了8分钟左右
一、创建文件,工作
1、如果云盘正在同步的某一个文件不要了丢回收站了,但是云盘那边依旧会是同步状态,这样会卡在那影响别的文件同步,这时只要退出谷歌云盘再进一次就好了。
2、类似这种最好注释掉,因为colab是动态分配的,一开始很可能没分到GPU,模型就默认CPU继续跑下去了,就会导致训练特别慢……直接在模型后面加.cuda()。
3、colab有个毛病,在第一个epoch的时候特别特别慢,经常出现跑二三十分钟的情况,不要慌,后面就会变成正常速度,可能是colab认为连接稳定了才会提速(我瞎猜的)。
https://www.xiaoheidiannao.com/249953.html
我在这里找到了解决方案
一开始我只是以为是刚训练时载入数据或模型初始化那些比较慢,第一轮训练后面连的训练耗时差了十几倍,一开始我的batch_size设置的大一点,第一轮训练大概要2个小时左右,后面把batch_size改小了一倍,第一轮训练直接要5到6个小时了,实在不能忍受了,毕竟一天GPU的使用时间有限,然后就去找了找原因,解决办法。
colab的使用流程
数据集准备
刚开始我是将数据集文件夹上传到google dirve上去,然后colab的笔记本写代码去读取dirve里的数据集。但实际上colab笔记本和dirve之间文件传输也是基于网络的,速度堪忧。下面是一种解决办法:
将数据集打包,上传至google dirve
接下来在colab的notebook进行操作:
把dirve的数据包所在文件夹拷贝至colab工作区
import shutil
shutil.copytree('./drive/MyDrive/deeple
上传数据集到OneDrive上(实测接近700M的文件上传速度会有点慢,不过比在CoLab上强多了)
右键单击数据集选择下载,然后暂停下载(若想下载就不用暂停),然后复制下载链接地址
在CoLab中下载数据集并上传到Google Drive上(实测下载速度超快,接近700M的文件30秒就下载好了)
--output用来将下载数据写入到指定路径的指定名称的文件中,--progress用来显示进度条
!curl 复制的链接地址 \
--output 下载文件到Google Drive的路径 --pr.
当今的深度学习模型,运行时间较长,占用大量的时间,有条件的实验室可以购买算力,没有条件的实验室,该怎么办呢?
偶然间接触到Colab,发现它居然支持GPU,而且是免费使用。若花费Money开通Colab Pro账号,可以提升运行速度,但是,将本地的程序/文件上传至Colab托管平台,依舊很慢。
下面说一个可以提升传输文件的软件:Air explorer
官网下载Air explorer,安装成功之后,关联自己的Google 账号,关联成功之后,打开Air explorer,直接将左侧的文件,拖拉至右
解决Google Colab - 上传数据集慢 - pytorch读取数据慢上传数据集慢pytorch读取数据慢
上传数据集慢
许多小伙伴在白嫖GoogleColab时遇到上传数据集慢的问题,那么上传数据集慢是怎么回事呢,下面小编现在就… (不是营销号,划掉)
解决方法:先将数据集压缩打包,然后传压缩包到谷歌云端,再Colab用解压,速度可以快很多。
# 解压缩文件
# (我不会 我百度的 但是能用 嘻嘻)
import zipfile
file_dir = '/content/drive/My Drive
数据集大小为59w
#############################放在drive下面(记得改路径)##################################...