kaggle的output没办法直接下载文件夹,倒是可以下载文件,当你的训练模型很多个文件的时候, 一个一个下载太慢了, 所以先将output压缩一下,然后下载就行了
直接在cell中运行此代码即可
import os
import zipfile
import datetime
def file2zip(packagePath, zipPath):
:param packagePath: 文件夹路径
:param zipPath: 压缩包路径
:return:
zip = zipfile.ZipFile(zipPath, 'w', zipfile.ZIP_DEFLATED)
for path, dirNames, fileNames in os.walk(packagePath):
fpath = path.replace(packagePath, '')
for name in fileNames:
fullName = os.path.join(path, name)
name = fpath + '\\' + name
zip.write(fullName, name)
zip.close()
if __name__ == "__main__":
# 文件夹路径
packagePath = '/kaggle/working/'
zipPath = '/kaggle/working/output.zip'
if os.path.exists(zipPath):
os.remove(zipPath)
file2zip(packagePath, zipPath)
print("打包完成")
print(datetime.datetime.utcnow())
清空kaggle/working下指定文件夹 直接在cell中运行下面代码
import shutil
import os
if __name__ == '__main__':
path = '/kaggle/working/model'
if os.path.exists(path):
shutil.rmtree(path)
print('删除完成')
else:
print('原本为空')
1.在运行完kaggle的notebook之后点击saveversion,在右上角。点开,再点开output,就可以看到自己的notebook运行后的结果了。然后完成后,返回到主页,找到刚才你的那个歌notebook。点击下载就可以保存运行后的结果了。如何不保存的话,结果数据会丢失。
print(os.getcwd())
print(os.listdir("/kaggle/working"))
from IPython.display import FileLink
FileLink('clean_re.csv')
只要输入上面的代码就会返回一个网址,点击网址就可以下载文件了。
注(FileLink('clean_re.csv')双引号内的内容最好是output文件下已存在的文件名)因为我的outp.
链接:http://note.youdao.com/noteshare?但是 数据集下载慢 input 里面下载数据集 也是慢的。文档:下载快 kaggle output.note。所以不如在input下载,有个名字 kaggle。下载快 kaggle output。数据集 名字 archive。速度和 input一样。
torch.save(model.state_dict(),'./model_best.pth')
一般情况下,以上语句保存的模型在kaggle的output/kaggle/working文件夹下
建议将效果较好的模型下载保存,否则网页休眠之后之前训练的结果就都么得了
我这里使用的模型是经过预训练的resnet50
model = torchvision.models.segmentation.fcn_resnet50(pretrained= False,progress= True
如何在kaggle上面快速下载数据?
现在做数据科学工作的,大部分都曾在kaggle上下载过数据集,但是最近kaggle好像搞了个API接口,这样很方便下载数据集,具体步骤如下(参考kaggle数据集下载:https://www.cnblogs.com/yuanzhoulvpi/p/8612893.htm...
conda install -c http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/dglteam/win-64 /dgl-cuda11.3 但是没成功,所以放弃这个方法,采用一开始的解压缩办法。cp -r ../input/cakecakecake-paper ./ #我就用的这个方法移动的。(上面的下载好好好慢。是的没错,我又来下载一遍dgl了,真的害怕极了。别只看红字,上面的字才是解决的key!就可以了,我试了一下对!
kaggle中的input有很多文件,有的时候我们想要将它们全部打包下载下来,这个时候就要使用相关的压缩文件夹的操作了
具体的代码如下
startdir = "../input" #要压缩的文件夹路径
file_news = startdir +'.zip' # 压缩后文件夹的名字
z = zipfile.ZipFile(file_news,'w',zipfile.ZIP_DEFLATED) #参数一:文件夹名
for dirpath, dirnames, filenames in os.walk(sta