The option spark.sql.caseSensitive controls whether column names etc should be case sensitive or not. It can be set e.g. by

spark_session.sql('set spark.sql.caseSensitive=true')

and is false per default.

It does not seem to be possible to enable it globally in $SPARK_HOME/conf/spark-defaults.conf with

spark.sql.caseSensitive: True

though.

Is that intended or is there some other file to set sql options?

Also in the source it is stated that it is highly discouraged to enable this at all. What is the rationale behind that advice?

As it turns out setting

spark.sql.caseSensitive: True

in $SPARK_HOME/conf/spark-defaults.conf DOES work after all. It just has to be done in the configuration of the Spark driver as well, not the master or workers. Apparently I forgot that when I last tried.

The option spark.sql.caseSensitive controls whether column names etc should be case sensitive or not. It can be set e.g. byspark_session.sql('set spark.sql.caseSensitive=true')and is false per default... RDD层面： ​ 持久化cache：内存 ​ MEMORY_ONLY_SER:序列化（ 启用 spark kryo序列化）有效降低内存占用，但耗费更多cpu性能序列化，而且还要注册需要序列化的类； ​ 以yarn集群为例，一般数据可靠性要求高，memory and disk，yarn资源充足memory 的java序列化即可，yarn资源不充足可以采用kryo序列化； DFrame&DataSet持久化： ​ cache：默认Memory and Dis 同样，lower_case_table_names 参数 的值可以是 0、1、2。 注意，这种方法修改的是 全局 变量，会影响到所有用户的连接，因此建议在修改前备份数据。修改完毕后，需要重启 My SQL 8 服务才能生效。 需要注意的是，在 My SQL 8 中，如果 lower_case_table_names 参数 的值为 0，那么所有表名和字段名都是 区分 大小写 的；如果为 1 或 2，表名是不 区分 大小写 的，但字段名仍然是 区分 大小写 的。因此，在设计数据库表时，应该注意表名和字段名的 大小写 规范，以避免出现混淆和错误。