SparkConf 配置的用法

Spark应用程序的配置，用于将各种Spark参数设置为键值对。

大多数情况下，将使用新的 SparkConf() ,创建一个SparkConf对象，该对象将从您的应用程序中设置的任何 spark.* 的Java系统属性加载值。 在这种情况下，** 直接在SparkConf对象上设置的参数优先于系统属性 **。

对于单元测试，您还可以调用新的 SparkConf(false) 来跳过加载外部设置，并获得相同的配置，无论系统属性如何。

此类中的所有setter方法都支持链式调用。

new SparkConf().setMaster("local").setAppName("My app")
SparkConf() //load defaults from system properties and classpath
def getAll: Array[(String, String)] //Get all parameters as a list of pairs
def setAppName(name: String) //Set a name for your application
val conf = new SparkConf().setAppName("PRM Training Process").setAll(Configuration.sparkProps)
Configuration.sparkProps //?
使用Dataset和DataFrame API编程Spark的入口点。
在预先创建此环境的环境中，使用构建器获取现有会话
构建器(builder)还可用于创建新会话
SparkSession.builder()
  .master("local")
  .appName("My app")