当我试图将DataFrame保存为CSV到S3时,将使用Scala生成的名称创建该文件。例如-
file.coalesce(1).write.option("header", "true").csv(bucket + "/fileName.csv")
使用名为 fileName.csv 的文件在 bucket 中创建一个名为 part-00000-955faf13-9fc3-4ccc-b0df-fb91cd701901-c000.csv 的目录
fileName.csv
bucket
part-00000-955faf13-9fc3-4ccc-b0df-fb91cd701901-c000.csv
如何更改文件名或使用特定名称保存文件?
发布于 2022-01-12 19:27:30
这就是文件保存后对我起作用的原因-
val src = new Path(s"s3a://$bucketName/$pathToDir") val fs = src.getFileSystem(sc.hadoopConfiguration) val status = fs.listStatus(src) status.foreach(filename => {