pyspark dataframe filter 自定义函数

在 PySpark 中使用 filter 函数对数据帧进行过滤时，您可以使用自定义函数作为过滤条件。

下面是一个示例，展示了如何使用自定义函数进行过滤：

from pyspark.sql.functions import udf
# 定义自定义函数
def is_odd(x):
    return x % 2 == 1
# 将自定义函数转化为 PySpark UDF
is_odd_udf = udf(is_odd)
# 使用自定义函数进行过滤
df.filter(is_odd_udf(df.col))
在上面的代码中，我们首先定义了一个名为 is_odd 的自定义函数，它接受一个数字并返回一个布尔值，表示该数字是否为奇数。然后，我们使用 PySpark 的 udf 函数将这个自定义函数转化为一个 UDF，并在最后使用 filter 函数对数据帧进行过滤。
希望这些信息对您有帮助。