row_number over partition by pyspark

在 PySpark 中使用 row_number() 函数 over partition by 子句可以按照指定的列对数据进行分组，并且为每个分组中的行分配一个唯一的数字序号。

具体来说，row_number() 函数用于计算每个分组中每行的序号，而 partition by 子句用于指定要对哪些列进行分组。

以下是使用 row_number() 函数 over partition by 子句的示例：

from pyspark.sql.window import Window
from pyspark.sql.functions import row_number
# 创建一个示例 DataFrame
data = [(1, "A"), (2, "B"), (3, "A"), (4, "C"), (5, "B")]
df = spark.createDataFrame(data, ["id", "category"])
# 按照 category 列进行分组，并为每个分组中的行分配唯一的序号
windowSpec = Window.partitionBy("category").orderBy("id")
df.withColumn("row_number", row_number().over(windowSpec)).show()
在这个例子中，我们使用 Window.partitionBy("category") 指定按照 category 列进行分组，并使用 Window.orderBy("id") 指定按照 id 列进行排序。然后，我们使用 row_number() 函数来计算每个分组中每行的序号，并使用 withColumn() 方法将计算结果添加为一个新列 "row_number"。
以上就是 PySpark 中使用 row_number() 函数 over partition by 子句的简单示例。希望对你有帮助！