|
|
相关文章推荐
|
打盹的大熊猫 · pyspark读取数据 - ...· 1 周前 · |
|
|
害羞的豆芽 · 【求解器入门指南】：揭秘求解器的神秘面纱，助 ...· 9 小时前 · |
|
|
阳光的警车 · Error response from ...· 6 月前 · |
|
|
还单身的烈马 · open3d使用 - OSCHINA - ...· 1 年前 · |
|
|
爱听歌的红烧肉 · printing - ...· 1 年前 · |
|
|
酒量大的足球 · php开启事务不能for循环-掘金· 1 年前 · |
我在HDFS (非分区)上有ORC数据，大约80亿行，大小为250 in。Iam读取DF中的数据，使用partitionBy ex: df.write.mode("overwrite").partitionBy("some_column").orc("hdfs partitionBy写入不带ay转换的DF“)
当我在spark UI中监控作业状态时，作业和阶段将在20分钟内完成。但spark UI中的"SQL“选项卡显示为40分钟。
在调试模式下运行作业并查看spark日志后，我意识到写入"_temporary“的任务将在20分钟内完成。
之后，将"_temporary“合并到实际输出路径需要20分钟。
所以我的问题是，驱动进程是否将数据从"_temporary“顺序合并到输出路径？或者它是由执行者任务完成的？
我能做些什么来提高性能吗？
1 个回答
高票数
最新
Stack Overflow用户
回答于2020-05-28 20:44
得票数
1
你可能想在你的应用程序配置中检查
spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version
选项。在版本1中，驱动程序会提交临时文件。文件的顺序，这已被认为是一个瓶颈。但是franky，人们通常只在比你的案例中更多的文件上观察到这个问题。根据Spark的版本，您可以将提交版本设置为2，有关详细信息，请参阅
SPARK-20107
。
另外，不建议每个executor拥有8个内核，因为当所有8个任务同时写入输出时，这可能会使磁盘IO饱和。
所属 标签
apache-spark
hadoop
hdfs
相似 问题
- 在S3中对外部配置单元表的Pyspark写入不是并行的 得票数 3
- 随着分区的增加，spark拼接写入变慢 得票数 15
- Spark 2.0不推荐使用'DirectParquetOutputCommitter'，没有它怎么生活？ 得票数 19
- 有没有办法提高saveAsTextFile方法在spark上的性能？ 得票数 0
- 与hdfs相比，spark 2.x按分区写入拼图的速度极慢 得票数 1
- Cassandra(使用Hadoop)与Spark的性能 得票数 0
- Spark-redis:数据帧写入速度太慢 得票数 0
- 如何停止Spark Structured填充HDFS 得票数 0
- Spark任务是否在计算之前读取整个HDFS块？ 得票数 0
- 使用Spark BigQuery连接器使用Dataproc写入BigQuery的速度很慢 得票数 1
关注
腾讯云
开发者
公众号
将获得
10元无门槛代金券
洞察腾讯核心技术
剖析业界实践案例
腾讯云开发者
扫码关注腾讯云开发者
领取腾讯云代金券
Copyright © 2013 - 2023 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号： 粤B2-20090059 深公网安备号 44030502008569
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号 | 京公网安备号11010802020287
扫码关注腾讯云开发者
领取腾讯云代金券
推荐文章
|
|
酒量大的足球 · php开启事务不能for循环-掘金 1 年前 |