我试图将 spark.driver.maxResultSize 的值更新为 6g,但该值没有得到更新。
spark.conf.set("spark.driver.maxResultSize", '6g')
注意:我是在Azure Databricks Notebook中运行这个命令。
![]() |
帅气的领带 · 【Pyspark ...· 2 周前 · |
![]() |
时尚的蘑菇 · pyspark的窗口函数--Window、o ...· 2 周前 · |
![]() |
不爱学习的风衣 · 癌症治疗有前途的靶点——新抗原:(中) ...· 8 月前 · |
![]() |
帅气的高山 · 英国诺森比亚大学熊榆教授莅临我院讲学· 1 年前 · |
![]() |
力能扛鼎的抽屉 · Flux数据脚本语言 - 啊噢1231 - 博客园· 1 年前 · |
![]() |
健身的鸡蛋面 · 如何告诉gorm将缺少的time.Time字 ...· 1 年前 · |
![]() |
重感情的饭卡 · Pytorch-cuDNN version ...· 1 年前 · |
在 Spark 2.0以上版本 中,你应该能够使用
方法来在运行时设置一些配置选项,但它主要限于SQL配置。由于你试图更新
的
,你需要
用你的新
创建新的会话(如果你有一个正在运行)。比如说。
SparkSession.conf.set
spark.driver
conf
SparkSession.builder.getOrCreate
conf
import pyspark sc = spark.sparkContext conf = pyspark.SparkConf().setAll([("spark.driver.maxResultSize", '6g')]) # here you stop the old spark context with old conf sc.stop() sc = pyspark.SparkContext(conf=conf)
另外,你可以直接用预定义的配置来
新的会话,例如从YAML文件或代码中获取。然后你可以用以下方法检查新的配置文件getOrCreate