在做数据预处理的时候, 先是在local实现, 使用了os去获取单个文件夹下所有文件的路径然后去处理.

def get_file_list(mainfile):
path_list = []
for doc in os.listdir(mainfile):
newpath = os.path.join(mainfile, doc)
if os.path.isfile(newpath):
path_list.append(newpath)
return path_list
1
2
3
4
5
6
7
然而在将代码转移到AWS Sagemaker时当然就不能使用os去获取路径了. 要理解的是S3是没有folder的概念的, 虽然我们在S3的console里面可以看到类似folder的结构, 但实际上我们只是在不同object的名称中加了prefix而已. (其实我觉得是一个东西…但亚麻强调没有…那就没有吧) 下面是获取一个buket中相关key的所有文件路径的方法

import boto3

def get_file_list(bucket_name, prefix):
s3 = boto3.resource('s3')
bucket=bucket_name
my_bucket = s3.Bucket(bucket)
location_list = []
for (bucket_name, key) in map(lambda x: (x

在做数据预处理的时候, 先是在local实现, 使用了os去获取单个文件夹下所有文件的路径然后去处理.def get_file_list(mainfile): path_list = [] for doc in os.listdir(mainfile): newpath = os.path.join(mainfile, doc) if os.path.isfile(newpath): path_list.append(newpath... 本片我将为大家讲解如何 获取 用户输入的 文件 路径 ， 获取 指定 路径 以及 路径 下所有的 文件 和目录，而且可以统计 文件 和目录的数量。 提示：以下是本篇文章正文内容，下面案例可供参考 一、主要的类 其实涉及到 文件 和目录，一般都是与 Java 的IO类 相关 的，但是本章却没有涉及到IO，而是涉及到了另一个类File。他可以对我们的 文件 和目录进行管理。 java .io.File类主要用于描述 文件 或目录 路径 的抽象表示信息，可以 获取 文件 或目录的特征信息，如：大小等。 二、实现代码 public class Test { public static void main(String[] args) throws Exception{ File file = new File("D:\\xxx"); if (!file.exists()) { //用来测试此 路径 名表示的 文件 或目录是否存在 file.isDirectory(); //来判断这是不是一个 文件 夹。 2.已经在 aws 中 创建用户，并同时获得 AWS _ACCESS_KEY和 AWS _SECRET_KEY 3.在 S3 中 已经创建好 桶 ，不过没有创建好，代码 中 也有提现。 Java 在 S3 上操作的工具代...