我试图将 spark.driver.maxResultSize 的值更新为 6g,但该值没有得到更新。
spark.conf.set("spark.driver.maxResultSize", '6g')
注意:我是在Azure Databricks Notebook中运行这个命令。
有胆有识的椰子 · 河北开展文旅行业灾后重建银企对接· 5 月前 · |
含蓄的罐头 · 遮天颜如玉与叶凡的关系 - 抖音· 1 年前 · |
刚分手的红薯 · 陈晓华:中国在转基因的监管程序评价体系和掌握 ...· 1 年前 · |
逃跑的槟榔 · 【影评】《想见你》电影版开启全新时间线,剧情 ...· 1 年前 · |
在 Spark 2.0以上版本 中,你应该能够使用
方法来在运行时设置一些配置选项,但它主要限于SQL配置。由于你试图更新
的
,你需要
用你的新
创建新的会话(如果你有一个正在运行)。比如说。
SparkSession.conf.set
spark.driver
conf
SparkSession.builder.getOrCreate
conf
import pyspark sc = spark.sparkContext conf = pyspark.SparkConf().setAll([("spark.driver.maxResultSize", '6g')]) # here you stop the old spark context with old conf sc.stop() sc = pyspark.SparkContext(conf=conf)
另外,你可以直接用预定义的配置来
新的会话,例如从YAML文件或代码中获取。然后你可以用以下方法检查新的配置文件getOrCreate