import os
path="/content/drive/My Drive/Colab Notebooks/Your directory name"
os.chdir(path)
os.listdir(path)
!python train.py //注意colab中执行命令前要加!
第三种:github上传
通过colab使用github或本地Notebook,点击 文件->上传笔记本,然后在弹出的窗口中选择合适的选项:
1.7导入库
最新colab 默认是可以导入tensorflow 和pytorch,默认的安装包可以通过如下命令查看:
!pip list
便会输出所有pip的包。如果没有可以通过命令安装
!pip install
!apt-get install
接着是Pytorch, Pytorch的安装和我们在Linux上安装一样,点击官网选择要环境。然后只需要将官网提供的代码copy到我们的代码块中,并且在代码前加上一个“!”点击运行即可,如下
!pip3 install https://download.pytorch.org/whl/cu80/torch-1.0.0-cp36-cp36m-linux_x86_64.whl
!pip3 install torchvision
然后我们可以输入官网提供的代码进行安装测试。如果有如下输出,就证明我们的安装成功了
import torch
x = torch.empty(5, 3)
print(x)
tensor([[1.1790e-25, 0.0000e+00, 4.4842e-44],
[0.0000e+00, nan, 1.6255e-43],
[3.3587e-06, 5.2898e+22, 6.5625e-10],
[2.0804e+23, 8.2726e+20, 6.6715e-10],
[1.6993e-04, 2.7150e-06, 6.0611e-39]])
如果要安装其他的包,框架,或者某一版本的方法和我们在Linux环境下安装几乎没有差别 只需要注意在运行前加上“!”,换计划说你可以把Google Colab看成是一个Linux系统的页面。
cuda/cudnn的安装,直接贴链接Google Colab NVIDIA安装,不过现在不需要安装了。
1.8运行自己的代码
先挂载,然后进入文件所在目录
import os
os.chdir('/content/drive/MyDrive/mask_Rcnn')
然后,您可以运行自己的主要功能
!python train.py
可以显示RAM和Disk才是正常的Colaboratory状态,如果出现busy表示GPU忙不可用。
如何改变busy的状态呢,重新连接Colaboratory即可。点完之后,状态就变成了restarting重启。
不过需要注意的是,重启后所有状态都被清除了,需要重新运行代码才能做到。
1.8 如何防止Colaboratory断掉
- 安装Auto reconnect colab,只要浏览器打开页面有网,就可以一直给你连接上,
- 我这里设置的是2分钟连接一次,具体时间间隔,就看你自己的心情了
1.9 数据解压
用 Google Colab 解压zip大文件时,(授权后)先不要更改工作目录,直接在默认目录”/content”下解压!
!unzip xxx.zip
在Colab notebook中发现解压文件速度奇慢无比。在之后的几次尝试中发现,打开 Colab notebook 并授权后,先不要更改工作目录,直接将数据集压缩文件下载到当前目录”/content”下,并使用 “!unzip”命令解压,速度和在pc上解压差不多。再将解压后的文件移动到指定文件夹下即可,然后就可以更改工作目录了。
总结一下:先把数据集压缩打包,然后把压缩包传到谷歌云,再压缩,速度可以快很多。
1.10 使用技巧
查看函数帮助文档和源代码
与IDE相似,您可以通过按Ctrl,然后单击一个类名来转到类定义。例如,在这里我们通过按Ctrl并单击Dense类名来查看Keras中Dense层的类定义。
- Colab是带有GPU的linux虚拟机,执行linux命令时前面需要加“ !”,执行python代码时可以直接编写执行。
- 每次重新登录需要挂载Google Drive,会在虚拟机里生成一个drive(即/content/drive/)文件夹,然后要执行命令将当前路径切换到/content/drive/My Drive/,才可以看到谷歌云盘上的文件。
- Colab最多连续使用12小时,超过时间系统会强制掐断正在运行的程序并收回占用的虚拟机。并且经常使用GPU的colab用户之后分配到使用GPU的优先级会变低,所以不用的使用请将runtime type设置为None。
- 上传数据集的时候,一定要上传到谷歌网盘中,并且一定要上传的是压缩包,在Colaboratory中解压才行。
- 每次跑一步都需要等待很长时间,而且一直在转圈
- 挂载只有12个小时,也就是说12小时之后你就需要重现挂载一次,所以就需要我们在进行模型训练的时候记得要加上 checkpoint ,不然你如果训练的模型超过12小时,Google断开挂载你就白白浪费12小时啦。
- 如果您离开页面太久,它会自动断开连接。如果电脑断网,或者关机重启,只要时间不是特别长,一般都可以,但如果时间过长,就只能重新练了。
- 一类运行时间长的任务会被打断
Windows python pip换源不生效(window11系统),以及pip下载库包报错 because normal site-packages is not writeable
2023年3月5日
PyCharm专业版及Python的安装与使用
2023年3月10日
超实用的7种 pytorch 网络可视化方法,进来收藏一波
2023年2月26日
python调用海康威视工业相机SDK实现图片采集
2023年2月25日
vscode中配置jupyter(彻底解决Failed to start the Kernel问题)
2023年3月5日