将SQL查询结果保存到文件

使用说明

将DataFrame(数据表)存储形式的查询结果以指定的格式(Json、CSV或者Parquet)输出到文件中。

DataFrame(数据表)是Spark SQL引入的结构化数据存储方式,使我们能使用SQL语句进行分布式数据的读取和计算,DataFrame的底层仍然是RDD。

查询结果为DataFrame(数据表)存储形式的查询工具有:

  • 数据表SQL查询
  • 要素数据集SQL查询
  • 数据库ECQL过滤读取
  • 输出的参数设置
    (可选) 其他输出设置,例如:若保存文件格式为csv,当需要输出表头,那么该参数设置为:header=true。多个参数用分号;分隔,如sep=,;header=true表示输出表头,使用逗号作为分隔符