1 withColumn方法

from pyspark.sql.types import IntegerType,StringType,DateType
from pyspark.sql.functions import col
# 转换为Integer类型
df.withColumn("age",df.age.cast(IntegerType()))
df.withColumn("age",df.age.cast('int'))
df.withColumn("age",df.age.cast('integer'))
# 转换为String类型
df.withColumn("age",df.age.cast(StringType()))
df.withColumn("age",df.age.cast('string'))
df.withColumn("age",df.age.cast('String'))
# 以上的df.age可替换为df['age']或col("age")
2 select方法
 
# Using select
df.select(col("age").cast('int').alias("age"))
2 selectExpr方法
 
df3 = df2.selectExpr("cast(age as int) age",
    "cast(isGraduated as string) isGraduated",
    "cast(jobStartDate as string) jobStartDate")
3 sql方法
 
df=spark.sql("SELECT STRING(age),BOOLEAN(isGraduated),DATE(jobStartDate) from CastExample")
df=spark.sql("select cast(age as string),cast(isGraduated as boolean),cast(jobStartDate as date) ")
注意，不能写cast(isGraduated as bool)，只能写bool。 
以上各种方法大家可排列组合自由发挥尝试，有好多种写法，可能都可以哦。最后选择一种符合个人习惯的写法即可。 
PySpark – Cast Column Type With Examples 
Spark SQL Data Types with Examples
                                    目录 一、windows下配置pyspark环境  1.1 jdk下载安装  1.2 Scala下载安装  1.3 spark下载安装  1.4 Hadoop下载安装  1.5 pyspark下载安装  1.6 anaconda下载安装  1.7 测试环境是否搭建成功  二、pysp...
                                    在SQL Server日常的函数、存储过程和SQL语句中，经常会用到不同数据类型的转换。在SQL Server有两种数据转换类型：一种是显性数据转换；另一种是隐性数据转换。下面分别对这两种数据类型转换进行简要的说明：
1 显式转换
显示转换是将某种数据类型的表达式显式转换为另一种数据类型。常用的是CAST 和 CONVERT 函数。
 CAST： CAST ( expression AS data_type )
 CONVERT： CONVERT (data_type[(length)], expression [, style])
参数 expression 是任何有效的 Microso
2.通过函数选择列
这些函数有DataFrame.col(“列名”)、col(“列名”)、column(“列名”)、expr（“列名”）；以及两种scala特有的语言支持，$“列名
                                    以上代码中，我们按照"department"列对DataFrame进行分组，并计算每个部门的平均工资和总工资。以上是SparkSQL中常见的数据转换方法，可以根据实际需要进行选择和组合，完成复杂的数据处理和分析任务。，并将其应用于DataFrame中的"salary"列，计算每个员工的奖金。以上代码中，我们选择了DataFrame中的"name"和"age"列。以上代码中，我们将DataFrame中的"age"列转换为整数类型。以上代码中，我们过滤了DataFrame中年龄大于18岁的行。
                                    每天都在生成太多数据。
尽管有时我们可以使用Rapids或Parallelization等工具来管理大数据，但如果您使用的是TB级数据，Spark是一个很好的工具。
尽管这篇文章解释了如何使用RDD和基本的Dataframe操作，但是我在使用PySpark Dataframes时错过了很多东西。
只有当我需要更多功能时，我才阅读并提出多种解决方案来做一件事情。
如何在Spark中创建新列？
现在，...
                                    原文：https://sparkbyexamples.com/pyspark/pyspark-withcolumn/
PySparkwithColumn()是DataFrame的转换函数，用于更改或更新值，转换现有DataFrame列的数据类型，添加/创建新列以及多核。在本文中，我将使用withColumn（）示例向您介绍常用的PySpark DataFrame列操作。
PySpark withColumn –更改列的数据类型
转换/更改现有列的值
从现有列派生新列
添加具有文字值的列
重命名列名
                                    可以直接对指定字段调用UDF函数，或者指定别名等。传入String类型参数，得到DataFrame对象。 比如，将type字段重新命名为visittype，同时截取visittime的date：
df.selectExpr("user","type as visittype","to_date(visittime)").show()
+----+---------+--------------------------------+
|user|visittype|to_date(CAST
                                    I am working with Spark and PySpark. I am trying to achieve the result equivalent to the following pseudocode:df = df.withColumn('new_column',IF fruit1 == fruit2 THEN 1, ELSE 0. IF fruit1 IS NULL OR f...
                                    pyspark.SparkContext: Spark 库的主要入口点，它表示与Spark集群的一个连接，其他重要的对象都要依赖它.SparkContext存在于Driver中，是Spark功能的主要入口。代表着与Spark集群的连接，可以在集群上创建RDD，accumulators和广播变量
- pyspark.RDD: 是Spark的主要数据抽象概念，是Spark库中定义的一个抽象类。
- pyspark.streaming.StreamingContext 一个定义在Spark Streaming库中
                                    1、pyspark 读取与保存
参考：http://www.manongjc.com/detail/15-vfxldlrjpphxldk.html
dt1 = spark.read.parquet(r'/home/Felix/pycharm_projects/test/testfile.parquet')
print(dt1.show())
保存的时候主要文件夹权限，不然报错ERROR FileOutputCommitter: Mkdirs failed to create file:
修改文件夹权限先