使用spark jdbcRDD的坑

spark的jdbcRDD可以让你连接到jdbc数据库上，以数据库表里的数据构建dataframe，非常方便。如下python代码：

dataframe = spark.read \
.jdbc("jdbc:mysql://192.168.111.111:3306/mydatabase",
"mytable",
column='incidentId', lowerBound=0, upperBound=40000000, numPartitions=20000,
properties={"user": "myusername", "password": "mypass",
"useUnicode": "true", "characterEncoding": "utf8",
"rewriteBatchedStatements": "true", "connectTimeout": "60000",
"socketTimeout": "60000"})\
.select('colum1', 'colum2' )\
.withColumnRenamed("colum1", "originalid") \
.withColumn("newColumn", lit(5))

根据接口，需要指定column和numPartitions以便分区，lowerBound和upperBound应该对应column中的最小值和最大值，以便界定dataframe的边界。

但是坑爹的是，lowerBound和upperBound参数根本不起作用，spark会把该表中所有的数据都load出来。

我的表中有4000万的数据，每次实验都会out of memory。 就只能分很多区，然后每个区分别处理就好了。