使用scala替换在spark数据框架列中多次出现的字符串的Regex

0 人关注

我有一个列，一个特定的字符串出现了多次。出现的次数是不固定的。我可以得到这种字符串的任何次数。

描述列有以下数据

The account account has been cancelled for the account account account and with the account
在这里，我想把多次出现的账户替换成单一的。
预期的输出。
The account has been cancelled for the account and with the account


         
          scala


         
          apache-spark


         
          apache-spark-sql


        
         
          
          
           user12976942
          
         
         
          发布于
          
          2021-04-08


          
           已采纳


          
           
            你可以使用regex模式（来源：
            
             java正则表达式去除重复词
            
            ）与
            
             regexp_replace
            
            ，来替换重复的词。
           
           val df = spark.sql("select 'The account account has been cancelled for the account account account and with the account' col")
df.show(false)
+-------------------------------------------------------------------------------------------+
|col                                                                                        |
+-------------------------------------------------------------------------------------------+
|The account account has been cancelled for the account account account and with the account|
+-------------------------------------------------------------------------------------------+
val df2 = df.withColumn("col", regexp_replace(col("col"), "\\b(\\w+)(\\b\\W+\\b\\1\\b)*", "$1"))
df2.show(false)
+-------------------------------------------------------------------+

推荐文章

谈吐大方的茄子 · nginx配置http和https可同时访问方法， listen ssl与 ssl on区别 - 30岁再次出发 - 博客园

6 月前

魁梧的啄木鸟 · Android：自定义列表弹窗的单选图标样式、去掉列表弹窗的上下提示线_android 单选弹框-CSDN博客

7 月前

酒量大的风衣 · 不能通过HiltViewModel的构造函数传递字符串 - 错误。[Dagger/MissingBinding] 不能提供java.lang.String。

1 年前

豪气的沙滩裤 · date、sleep和usleep命令 - 骏马金龙 - 博客园

1 年前

潇洒的凉茶 · andorid 22 textinputlayout背景she设置透明竟然导致灰色_情迁博客的技术博客_51CTO博客

1 年前