Spark-submit是Apache Spark的主要命令行工具,允许您在集群上运行应用程序。您可以通过使用--conf或--properties-file选项来传递spark-submit参数,也可以通过使用args参数直接在命令行中传递参数。
./bin/spark-submit \
--class com.spark.example.Example \
--master yarn \
--deploy-mode client \
--executor-memory 2g \
--num-executors 30 \
/path/to/yourSparkJob.jar \
arg1 arg2 arg3
这样,您就可以通过访问args数组(例如,args[0])在Spark应用程序代码中访问传递的参数。