当利用colab进行模型训练,且训练文件数目过大时,需要上传zip文件,并在google drive中解压。
经测试,利用chrome unzip插件解压速度远小于利用colab代码层解压。
-
在colab中创建一个“unzipfile.ipynb”
-
手动创建解压目录
-
加入如下代码:
from google.colab import drive
drive.mount('/gdrive') ## mount drive
!unzip '/gdrive/My Drive/siim/701123_1225697_bundle_archive.zip' -d '/gdrive/My Drive/siim/Data/'
‘/gdrive/My Drive/siim/701123_1225697_bundle_archive.zip’ 是压缩文件绝对路径。
‘/gdrive/My Drive/siim/Data/’ 为步骤2中创建解压目录。
Google Drive在线解压缩V1.1
省的大家上传GD的时候很麻烦,小文件数量多上传很慢。大文件就比较快,在TG群又看大家好多人说资源都要解压版,所以就随便写了一个这个。
可以解压市表面百分之90的压缩格式。压缩功能还在考虑,看大家需求吧,如果要的话我在写。
如果好用的话麻烦点一下右上角的开始谢谢
使用方法:
代码拖到本地,打开Google Colab官网: ://colab.research.google.com/
git clone https://github.com/Wilnk/Google-Drive-Online-Decompression
:文件-上传(Google_Drive_Online_Decompression.ipynb)提示登录登陆即可。
连接Google Colab登录Google帐号绑定Google Drive授权
获取Google云端硬盘的信息
如何使用Google Colab 在线解压GoogleDrive里的RAR ZIP等压缩包
太久没更新了,今天来写一篇。前段时间群里有人问如何在线解压 GoogleDrive 里的压缩包,我因为太忙所以就没理会。今天难得有空,决定写一篇教程。本文详细介绍如何利用 Google Colab 服务,在线快速解压 Google Drive 里的压缩包,包括解压 rar、zip 等等。过程其实很简单,方法也不难,无需服务器 VPS,人人都可解压。Colab绑定GoogleDrive这个方法需要用到 Google C
近期一位笨蛋找我帮忙下载一个文件,在Google Driver里,我心想这有什么难的,然鹅,问题真的就莫名其妙出现了。总大小1.8G,chrome直接下载,下载速度5MB/s,预计5分钟,但是每次下载几百MB或1GB多的时候,网速就变为0,然后就网络错误,点击重试直接下载失败,只能重新下载,重试了10多次,都下不下来,坑。接着就上网学习了一下,将笔记纪录在这里。
先科普一下:Google Drive下载大文件的时候,不管用什么方法,都绕不过Access Token分配的问题。这个Token...
今天才发现可以用Google的Colaboratory可以训练pytorch神经网络,真的太高兴了,这样就可以解决我渣渣的电脑没有GPU,无法训练大型神经网络的问题了。
但是由于需要上传本地训练数据,很不方便,所以我就打算把本地数据打zip包上传到Google云盘,然后再在colab上用命令行下载解压过来训练,找了半天才找到办法,这里记录一下吧,主要代码如下:
# 首先安装googledrivedownloader
pip install googledrivedownloader
#接着下载解压
很偶然,实验室伙伴的小伙伴找到我帮忙下外网数据集,然后我帮着忙,顺便发现了一个简便的方法从云盘下文件…
原来的方法来自于Quora,英语没问题的话看原帖就好了。
顺便,如果实在无法翻墙的同学要下数据集的时候,可以购买国外公有云服务器,先下载到云服务器上,再从云服务器上搬运回来。
以下是使用命令行API从Google Drive上下载文件的详细步骤,前提是文件是私有分享并且需要身份认证...