相关文章推荐
呐喊的书签  ·  Is there a way to get ...·  1 年前    · 
聪明伶俐的松鼠  ·  在 Linux ...·  1 年前    · 
开心的机器人  ·  deep learning - Are ...·  1 年前    · 

sparksubmit传入args参数

Spark-submit是Apache Spark的主要命令行工具,允许您在集群上运行应用程序。您可以通过使用--conf或--properties-file选项来传递spark-submit参数,也可以通过使用args参数直接在命令行中传递参数。

./bin/spark-submit \
  --class com.spark.example.Example \
  --master yarn \
  --deploy-mode client \
  --executor-memory 2g \
  --num-executors 30 \
  /path/to/yourSparkJob.jar \
  arg1 arg2 arg3

这样,您就可以通过访问args数组(例如,args[0])在Spark应用程序代码中访问传递的参数。

  •