这至少将它们放在两个数据帧中

from pyspark.sql.functions import monotonically_increasing_id
df_with_id = dataNode.withColumn("id",monotonically_increasing_id())
max_id = df_with_id.agg({"id": "max"}).collect()[0]["max(id)"]
first_df = df_with_id.where("id = {maxid}".format(maxid=max_id))
second_df = df_with_id.where("id != {maxid}".format(maxid=max_id))

您需要在数据帧的每一行上应用一个映射，该映射将其中一列的内容拆分为两个新列。将结果分成两个数据帧之后就很简单了。为此，我使用了一个简单的函数，它从数组中返回所需的索引：

def splitArray(array, pos):
    return array[pos]

您可以像这样应用此函数：

import pyspark.sql.functions as f
mapped = dataFrame.select(
    splitArray(f.col('data'), 0).alias('first'),
    splitArray(f.col('data'), 1).alias('second'))

(我使用了内置的列功能来选择数据列。我不确定是否有更优雅的方法来实现这一点。)

结果是：

+-----------------------------------------------------+-----------------------------------------------------+