当使用亚马逊云服务器进行深度学习模型训练时,需要将数据集上传,相比使用 UI 界面上传,使用命令行方式具有更快的上传速率。
-
安装 aws cli 客户端: pip install awscli,安装完后输入 aws help 可以查看帮助信息。
-
添加账户:
-
登录网页版:
https://console.aws.amazon.com/console/home
-
登录后右上角选择“我的安全凭证”,“创建访问密钥”,会生成访问密钥ID及访问密钥,
-
Ubuntu 控制台进入路径 ~./aws,新建 config 及 credentials 文件。内容分别如下(其中 aws_access_key_id 及aws_secret_access_key 均由步骤 (2) 产生:
4. 配置完成后尝试常用命令操作。
2. 常用命令
在 Ubuntu 控制台下运行,以文件 xx.json 为例。
-
上传文件至s3: aws s3 cp /home/ww/xx.json s3://mybuckets/my-bucket/
-
上传文件夹: aws s3 cp /home/ww/test1 s3://mybuckets/my-bucket/ --recursive
-
列出当前文件: aws s3 ls s3://mybuckets/my-bucket/
-
删除文件: aws s3 rm s3://mybuckets/my-bucket/xx.json
-
删除文件夹: aws s3 rm s3://mybuckets/my-bucket//test2
当使用亚马逊云服务器进行深度学习模型训练时,需要将数据集上传,相比使用 UI 界面上传,使用命令行方式具有更快的上传速率。配置步骤 安装 aws cli 客户端:pip install awscli,安装完后输入 aws help 可以查看帮助信息。 添加账户: 登录网页版:https://console.aws.amazon.com/console/home ...
AWS
-
CLI
AWS
CLI
(命令行界面)“是管理您的
AWS
服务的统一工具。只需下载和
配置
一个工具,您就可以从命令行控制多个
AWS
服务,并通过脚本将它们自动化”(
AWS
)。 用户最熟悉
AWS
管理控制台以访问和管理各种
AWS
服务。 但是,借助
AWS
命令行界面,用户可以通过Secure Shell访问和管理那些相同的服务。 此存储库显示了在Amazon Linux 2 EC2实例上
配置
AWS
CLI
并能够执行命令(例如列出用户的
S3
存储桶)的步骤。 可以使用其他Amazon Machine Image(AMI)(例如Windows,macOS和Redhat)来应用这些步骤。
请记住要保护安全,不要共享EC2的私钥和用户的凭据。
此外,为测试和学习目的,暂时允许在此示例中创建的EC2中使用公共IP地址。 请确保通过设置适当的防火墙规则来确保对EC2的访问安全。
1.启动Amaz
用于 Node.js 的
AWS
CLI
s3
同步
适用于 Node.js 的
AWS
CLI
s3
sync提供了一个现代客户端,以按照官方的精神在
文件
系统和
S3
存储桶之间执行
S3
同步操作。
AWS
CLI
安装不受此模块所需。
将本地
文件
系统与远程 Amazon
S3
存储桶同步
将远程 Amazon
S3
存储桶与本地
文件
系统同步
同步两个远程 Amazon
S3
存储桶
仅同步新的和更新的对象
支持
AWS
CLI
选项--delete , --dryrun
支持
AWS
SDK 命令输入选项
跟踪对象同步进度
同步任意数量的对象(没有 1000 个对象限制)
并发传输对象
通过重新定位轻松管理
文件夹
结构的差异
我为什么要使用这个模块?
仅使用适用于 JavaScript v3 的
AWS
开发工具包无法实现
S3
同步。
AWS
CLI
安装不是必需的。
sudo apt install
aws
cli
user获取新的Access Key ID和Secret Access Key 参考链接https://www.cnblogs.com/Mindy-hym/p/9662927.html
aws
configure
AWS
Access Key ID [None]: -----
AWS
Secret Access Ke...
点击“创建/注册虚拟机”,选择“创建新虚拟机”。点击“下一页“
为新虚拟机输入名称,并且“客户机操作系统系列”指定为Linux和“客户机操作系统版本”指定为
Ubuntu
Linux。点击“下一页”。
接下来选择存储选择“datastore”。点击下一页。
接着为该虚拟机
首先,下载pscp.exe“PuTTY Download Page”,放到你的C:\Windows\System32目录下
如果我们要传F盘当中的1.XLS
文件
到远程
ubuntu
主机的\home\
ubuntu
目录下面。我们需要知道我们
aws
的秘钥ppk
文件
在哪,比如我的在"F:\jhc09.ppk"
我们需要打开windows里面的命令行,输入:
pscp -i "F:\jhc09.p...
1.ping
s3
.amazon
aws
.com
2. 将 52.217.106.198
s3
-1.amazon
aws
.com 加入hosts`
52.217.106.198
s3
-1.amazon
aws
.com
3.下载axel 参考链接
sudo apt-get install axel
4.axel -a -n 100 (
文件
下载链接)
注:win 可以采取类似修改hosts方法下载