当使用亚马逊云服务器进行深度学习模型训练时,需要将数据集上传,相比使用 UI 界面上传,使用命令行方式具有更快的上传速率。

  1. 安装 aws cli 客户端: pip install awscli,安装完后输入 aws help 可以查看帮助信息。
  2. 添加账户:
    1. 登录网页版: https://console.aws.amazon.com/console/home
    2. 登录后右上角选择“我的安全凭证”,“创建访问密钥”,会生成访问密钥ID及访问密钥,
    3. Ubuntu 控制台进入路径 ~./aws,新建 config 及 credentials 文件。内容分别如下(其中 aws_access_key_id 及aws_secret_access_key 均由步骤 (2) 产生:

4. 配置完成后尝试常用命令操作。

2. 常用命令

在 Ubuntu 控制台下运行,以文件 xx.json 为例。

  1. 上传文件至s3: aws s3 cp /home/ww/xx.json s3://mybuckets/my-bucket/
  2. 上传文件夹: aws s3 cp /home/ww/test1 s3://mybuckets/my-bucket/ --recursive
  3. 列出当前文件: aws s3 ls s3://mybuckets/my-bucket/
  4. 删除文件: aws s3 rm s3://mybuckets/my-bucket/xx.json
  5. 删除文件夹: aws s3 rm s3://mybuckets/my-bucket//test2
当使用亚马逊云服务器进行深度学习模型训练时,需要将数据集上传,相比使用 UI 界面上传,使用命令行方式具有更快的上传速率。配置步骤 安装 aws cli 客户端:pip install awscli,安装完后输入 aws help 可以查看帮助信息。 添加账户: 登录网页版:https://console.aws.amazon.com/console/home ...
AWS - CLI AWS CLI (命令行界面)“是管理您的 AWS 服务的统一工具。只需下载和 配置 一个工具,您就可以从命令行控制多个 AWS 服务,并通过脚本将它们自动化”( AWS )。 用户最熟悉 AWS 管理控制台以访问和管理各种 AWS 服务。 但是,借助 AWS 命令行界面,用户可以通过Secure Shell访问和管理那些相同的服务。 此存储库显示了在Amazon Linux 2 EC2实例上 配置 AWS CLI 并能够执行命令(例如列出用户的 S3 存储桶)的步骤。 可以使用其他Amazon Machine Image(AMI)(例如Windows,macOS和Redhat)来应用这些步骤。 请记住要保护安全,不要共享EC2的私钥和用户的凭据。 此外,为测试和学习目的,暂时允许在此示例中创建的EC2中使用公共IP地址。 请确保通过设置适当的防火墙规则来确保对EC2的访问安全。 1.启动Amaz
用于 Node.js 的 AWS CLI s3 同步 适用于 Node.js 的 AWS CLI s3 sync提供了一个现代客户端,以按照官方的精神在 文件 系统和 S3 存储桶之间执行 S3 同步操作。 AWS CLI 安装不受此模块所需。 将本地 文件 系统与远程 Amazon S3 存储桶同步 将远程 Amazon S3 存储桶与本地 文件 系统同步 同步两个远程 Amazon S3 存储桶 仅同步新的和更新的对象 支持 AWS CLI 选项--delete , --dryrun 支持 AWS SDK 命令输入选项 跟踪对象同步进度 同步任意数量的对象(没有 1000 个对象限制) 并发传输对象 通过重新定位轻松管理 文件夹 结构的差异 我为什么要使用这个模块? 仅使用适用于 JavaScript v3 的 AWS 开发工具包无法实现 S3 同步。 AWS CLI 安装不是必需的。 sudo apt install aws cli user获取新的Access Key ID和Secret Access Key 参考链接https://www.cnblogs.com/Mindy-hym/p/9662927.html aws configure AWS Access Key ID [None]: ----- AWS Secret Access Ke...
点击“创建/注册虚拟机”,选择“创建新虚拟机”。点击“下一页“ 为新虚拟机输入名称,并且“客户机操作系统系列”指定为Linux和“客户机操作系统版本”指定为 Ubuntu Linux。点击“下一页”。 接下来选择存储选择“datastore”。点击下一页。 接着为该虚拟机
首先,下载pscp.exe“PuTTY Download Page”,放到你的C:\Windows\System32目录下 如果我们要传F盘当中的1.XLS 文件 到远程 ubuntu 主机的\home\ ubuntu 目录下面。我们需要知道我们 aws 的秘钥ppk 文件 在哪,比如我的在"F:\jhc09.ppk" 我们需要打开windows里面的命令行,输入: pscp -i "F:\jhc09.p...
1.ping s3 .amazon aws .com 2. 将 52.217.106.198 s3 -1.amazon aws .com 加入hosts` 52.217.106.198 s3 -1.amazon aws .com 3.下载axel 参考链接 sudo apt-get install axel 4.axel -a -n 100 ( 文件 下载链接) 注:win 可以采取类似修改hosts方法下载