* Creates timestamp from the number of seconds since UTC epoch.
* @group datetime_funcs
* @since 3.1.0
def timestamp_seconds(e: Column): Column = withExpr {
SecondsToTimestamp(e.expr)
前言本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系目录Spark SQL functions.scala 源码解析（一）Sort functions （基于 Spark 3.3.0）Spark SQL functions.scala 源码解析（二）Aggregate functions（基于 Spark 3.3.0）Spark SQL functions
本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！
本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系
Spark SQL functions.scala 源码解析（一）Sort functions （基于 Spark 3.3.0）
Spark SQL functions.scala 源码解析（二）Aggregate functions（基于 Spark 3.3.0）
Spark SQL functions
Spark2升级为Spark3 UDF org.apache.spark.sql.AnalysisException: You‘re using untyped报错解决方案
Spark2升级Spark3 org.apache.spark.sql.AnalysisException: You're using untyped Scala UDF, which does not have the input type information
User class threw exception: org.apache.spark.sql.AnalysisException: spark_catalog requires a single-part namespace,but got
这应该是一个非常常见的bug，事情起因如下：
我们在sql中需要让某个日期往前推三天，所以在sql中我使用了如下语句
select date_sub(tdbank_imp_date, 7) as tdbank_imp_date
from table
该语句在sql中运行正常，也得到了预期的结果
之后我们把代码贴到saprk.sql中运行
发现变为了空值
其原是日期格式的问题，YYYYMMDD这种格式对于sql和spark.sql来说都是不规范的，但是在sql中这种不规范被漫长的版本迭代中给容错
Codegen，动态字节码技术，那么什么是动态字节码技术呢？先看来一段代码，假设SparkPlan为Sort
case class Sort(
sortOrder: Seq[SortOrder],
global: Boolean,
child: SparkPlan)
extends UnaryNode {
override def requiredChildDis
%pyspark
data = [(1,"火男",6000),(1,"流浪法师",7000),(2,"盖伦",10000),(2,"皇子",8000)]
df = spark.createDataFrame(data,["属性","角色名称","战斗力"])
df.show()
二、pyspark注册udf
%pyspark
#注册udf
import pandas as pd
