pyspark dataframe 去重__pyspark

相关文章推荐

魁梧的机器人 · 追赶ChatGPT的难点与平替-虎嗅网· 2 年前 ·

爱看书的签字笔 · 06 ORA系列：ORA-01741 ...· 2 年前 ·

有腹肌的苦瓜 · 元胞自动机模拟交通道路_Python_pyt ...· 2 年前 ·

稳重的红豆 · python - Pandas DF ...· 2 年前 ·

纯真的鼠标垫 · JS获取Object的第一个元素 - 掘金· 2 年前 ·

pyspark dataframe 去重

两种去重，一种是整行每一项完全相同去除重复行，另一种是某一列相同去除重复行。

整行去重

dataframe1 = dataframe1.distinct()

某一列或者多列相同的去除重复

df = df.select("course_id", "user_id", "course_name")
# 单列为标准
df1 = df.distinct.dropDuplicates(subset=[c for c in df.columns if c in ["course_id"]])
# 多列为标准
df2 = df.distinct.dropDuplicates(subset=[c for c in df.columns if c in ["course_id", "course_name"]])

推荐文章

魁梧的机器人 · 追赶ChatGPT的难点与平替-虎嗅网

2 年前

爱看书的签字笔 · 06 ORA系列：ORA-01741 非法的零长度标识符_ora01741_Java仗剑走天涯的博客-CSDN博客

2 年前

有腹肌的苦瓜 · 元胞自动机模拟交通道路_Python_python交通仿真资源-CSDN文库

2 年前

稳重的红豆 · python - Pandas DF NotImplementedError: Writing to Excel with MultiIndex columns and no index ('index'=False) is not yet implement

2 年前

纯真的鼠标垫 · JS获取Object的第一个元素 - 掘金

2 年前