用户对问题“Spark DataFrame:将144列转换为行”的回答

相关文章推荐

谦虚好学的火柴 · Spark ...· 1 月前 ·

近视的橙子 · python ...· 1 月前 ·

博学的香菜 · python将dataframe指定列更新至 ...· 1 周前 ·

谦和的弓箭 · dataframe在Mysql中批量修改—— ...· 1 周前 ·

飘逸的饭卡 · dataframe split ...· 5 天前 ·

心软的登山鞋 · java.io.IOException: ...· 3 月前 ·

非常酷的仙人掌 · 用sqlplus远程连接oracle命令 ...· 3 月前 ·

任性的香瓜 · esc命令集+cpcl命令集+tspl命令集 ...· 5 月前 ·

近视的跑步鞋 · CDH下集成spark2.2.0与kafka ...· 9 月前 ·

强悍的蘑菇 · 类型“TypedResponse<never ...· 1 年前 ·

腾讯云

备案控制台

开发者社区

TVP

文章/答案/技术大牛

写文章

Spark DataFrame:将144列转换为行

Table A 
|dt  |AA|BB|CC|     
|----|--|--|--|
|1012|10|12|13|        
|1013|13|14|15|
|1014|14|18|30|
Table B (After transform Table A) 
|dt  |Head|Val|
|----|----|---
|1012|AA  |12|
|1013|AA  |13|
|1014|AA  |14|
|1012|BB  |12|
|1013|BB  |14|
|1014|BB  |18|
|1012|CC  |13|
|1013|CC  |15|
|1014|CC  |30|

val dfA = Seq((1012, 10, 12, 13), (1013, 13, 14, 15), (1014, 14, 18, 30)).toDF("dt", "AA", "BB", "CC")
val columns = dfA.columns.filter(!_.equalsIgnoreCase("dt"))
var cmd = s"stack(${columns.length},"
for( col <- columns) cmd += s"'$col',$col,"
cmd = cmd.dropRight(1) + ")"
val dfB = dfA.selectExpr("dt", cmd)
  .withColumnRenamed("col0", "Head")
  .withColumnRenamed("col1", "Val")

+----+----+---+
|  dt|Head|Val|
+----+----+---+
|1012|  AA| 10|
|1012|  BB| 12|
|1012|  CC| 13|
|1013|  AA| 13|

推荐文章

谦虚好学的火柴 · Spark 创建RDD、DataFrame各种情况的默认分区数 - guoyu1

1 月前

近视的橙子 · python 把列表变量保存到txt_mob649e8167c4a3的技术博客_

1 月前

博学的香菜 · python将dataframe指定列更新至Mysql_dataframe 按照主键更新mysql指定列

1 周前

谦和的弓箭 · dataframe在Mysql中批量修改——pymysql、pandas_dataframe 按照主键更新mysql指定列

1 周前

飘逸的饭卡 · dataframe split 截取字符串后取指定列的值_对dataframe中某一列的值做split提取

5 天前

心软的登山鞋 · java.io.IOException: Too many open files-CSDN博客

3 月前

非常酷的仙人掌 · 用sqlplus远程连接oracle命令 _51CTO博客_sqlplus连接oracle命令

3 月前

任性的香瓜 · esc命令集+cpcl命令集+tspl命令集 - CSDN文库

5 月前

近视的跑步鞋 · CDH下集成spark2.2.0与kafka（四十一）：在spark+kafka流处理程序中抛出错误java.lang.NoSuchMethodError: org.apache.kafka.clie

9 月前

强悍的蘑菇 · 类型“TypedResponse<never>上不存在属性“xxx。ts(2339)

1 年前

Spark DataFrame:将144列转换为行

2 个回答