Google Colab 调用kaggle上的数据训练pytorch项目_kaggle怎么自己训练colab_神兽乌鸦的博客

一、你需要再Kaggle上创建一个账号，然后按照下图去创建一个token

点击Create New API Token按钮后会提示下载kaggle.json文件，保存到本地。

二、把下载的kaggle.json上传到Google云盘

在具有会话还原功能和 Google 云端硬盘的上运行。转到下面的链接以在 Google Co lab 中打开co lab cat.ipynb文件的副本： ://co lab .research. google .com/github/someshkar/co lab cat/blob/master/co lab cat.ipynb 单击“ Runtime ， Change runtime type ，然后将“ Hardware accelerator设置为GPU。转到您的 Google 云端硬盘，并创建一个名为dothashcat的目录，其中包含一个hashes子目录，您可以在其中存储哈希。返回 Google Co lab ，单击“ Runtime ，然后单击Run all 。当它要求提供 Google 云端硬盘令牌时，请转到其提供的链接并使用您的 Google 帐户进行身份验证以获取令牌。您可以编辑笔记本 co lab 简介 Google Co lab oratory是谷歌开放的一款研究工具，主要用于机器学习的开发和研究。工具优势： Google Co lab 最大的好处是给广大的AI开发者提供了免费的GPU使用。你可以在上面轻松地跑例如：Keras、Tensorflow、 Pytorch 等框架；其次是入门相对简单，语法和cmd语句以及linux语句相似。目前co lab 平台GPU的状态信息如下图：原创文章 3获赞 2访问量 186 在 Google Co lab 或 Kaggle Notebooks上运行代码服务器 Co lab Code也有一个命令行脚本。因此，您可以仅从命令行运行co lab code 。 co lab code -h将给出以下内容： usage: co lab code [-h] --port PORT [--password PASSWORD] [--mount_drive] Co lab Code: Run VS Code On Co lab / Kaggle Notebooks required arguments: --port PORT the port you want to run code-server on optional arguments: --password PASSWORD 深度学习 越加火热，但是，很多实验室并没有配套的硬件设备，让贫穷的学生党头大???? 经过网上大量的搜罗，我整理了适合学生党的 深度学习 解决方案。利用Co lab + Kaggle 两大免费的GPU环境，让 深度学习 变得简单。 Co lab Co lab 基础使用 Google Co lab 提供了免费K80的GPU，通过 Google Drive就可以很好的白嫖一波了 ????Co lab 实用教程 Co lab 进阶使用通过下载 Google 备份与同步到本地端，就可以实现数据的同步，保证了较大量的数据集在云端和本地端直 # 数据预处理函数 def Data_Processing(Input_Dataset, Dataset_Type): Dataset = pd.read_csv(Input_Dataset) # 导入数据集 print(Dataset.describe()) # 数据集描述 aistudio提供免费的v100 16显存，能供进行训练，我在训练分类的时候是没用问题的，训练 eff网页就会卡掉。所以这个只能供学习小幅度训练。或者使用aistudio提供的python环境进行日常工作也是不错的选择。创建notebook 第一步登录官网进行账号注册 https://aistudio.baidu.com/aistudio/index 第二步，点击项目，我的项目，进行创建项目这里其他信息随便填，点击创建数据集，提前吧自己用到的文件压缩包，和权重上传这里我上传了 pytorch 版前言：由于cloab的使用需要梯子，直接将自己电脑里的数据上传到co lab 里面时网速一直是一个头痛的问题，为了解决这个问题我们可以直接跳过从 kaggle 里面下载数据的那一步，直接让 kaggle 的数据导入到co lab 里面注册一个 kaggle 账户登陆 kaggle 点击最右上角的头像点击其中的 account 向下滑动找到KPI选项点击create new API 我们会自动下载得到一个文件 kaggle .json 好这里我们就完成了第一大步了接下来我们就需要用上传Token到 Google Drive 把下载的 kaggle .json上传到 Google Drive 上新建的一个文件夹, 例如 Kaggle 文件夹新建 co lab 笔记挂载 Google Drive, 运行以下代码 import os os.environ[' KAGGLE _CONFIG_DIR'] = "/content/drive/ Kaggle " 切换到这个文件夹 os.chdir('/content/drive/ Kaggle ') 第一次尝试在 kaggle 上找机器学习（ML）项目练手，Titanic问题是官方的入门项目，在此做一个记录。 kaggle 官网：https://www. kaggle .com/ 进入官网之后左边那一栏的compete表示ML竞赛项目，点击某项竞赛后会有项目说明（Overview），数据集（Data）以及其他人对此项目的一些讨论（Notebooks、Discussion），点击join compete即可加入此竞赛。接下来要做的事就是使用数据集完成Overview中说明的任务，并将模型在测试集上原始的CIFAR10 数据集有60000张图，其中训练集50000张，测试集10000张。然而， kaggle 提供了300000张图的大型数据集用来测试CIFAR10.这里是 kaggle 网站关于这些图片的介绍： “为了阻止某些形式的作弊(如手动标签)，我们在测试集中添加了290,000张垃圾图片。这些图片在评分中被忽略。我们还对官方的10,000个测试图像做了一些微不足道的修改，以防止通过文件哈希查找它们。这些修改不会明显影响得分。你应该预测所有300,000个图像的标签。” 一、对于 Kaggle 测试图片，创建