问 根据字典替换spark dataframe中的列值，类似于np.where

EN

问题是，对于 city_dict 中不包含的任何城市， mapping_expr 都会返回 null 。一种快速的解决方法是，如果 city 返回 null 值，则使用 coalesce 返回 mapping_expr ：

from pyspark.sql.functions import coalesce
#lookup and replace 
df1= df.withColumn('new_city', coalesce(mapping_expr[df['city']], df['city']))
df1.show()
#+---+--------+------+--------+
#| no|    city|amount|new_city|
#+---+--------+------+--------+
#|  1|  Kenora|   56%|       X|
#|  2| Sudbury|   23%| Sudbury|
#|  3|  Kenora|   71%|       X|
#|  4| Sudbury|   41%| Sudbury|
#|  5|  Kenora|   33%|       X|
#|  6| Niagara|   22%|       X|
#|  7|Hamilton|   88%|Hamilton|
#+---+--------+------+--------+
df1.groupBy('new_city').count().show()
#+--------+-----+
#|new_city|count|
#+--------+-----+
#|       X|    4|
#|Hamilton|    1|
#| Sudbury|    2|
#+--------+-----+

但是，如果其中一个替换值为 null ，则上述方法将失败。

在这种情况下，一种更简单的替代方法可能是使用 pyspark.sql.DataFrame.replace()

首先，使用 withColumn 创建 new_city ，作为 city 列中的值的副本。

df.withColumn("new_city", df["city"])\
    .replace(to_replace=city_dict.keys(), value=city_dict.values(), subset="new_city")\
    .groupBy('new_city').count().show()
#+--------+-----+