不会耗尽内存的Spark打印数据帧

Dataset<Row> df = ...

df.show()

df.show(rowCount, false)

df.foreachPartition(iter -> {
    while(iter.hasNext()){
       System.out.println(rowIter.next().mkString(",");)
});

df.write.mode("overwrite").saveAsTable("database.tableName")

df.write.csv("/your/location/data.csv")
 df.write.json("/your/location/data.json")

long count = df.count();
long inc = count / 10;
for (long i = 0; i < count; i += inc) {
  Dataset<Row> filteredDf =
      df.where("id>=" + i + " AND id<" + (i + inc));
  List<Row> rows = filteredDf.collectAsList();
  for (Row r : rows) {
    System.out.printf("%d: %s\n", r.getAs(0), r.getString(1));
}

package net.jgp.books.sparkWithJava.ch20.lab900_splitting_dataframe;
import java.util.ArrayList;
import java.util.List;
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.RowFactory;
import org.apache.spark.sql.SparkSession;
import org.apache.spark.sql.types.DataTypes;
import org.apache.spark.sql.types.StructField;
import org.apache.spark.sql.types.StructType;
 * Splitting a dataframe to bring it back to the driver for local
 * processing.
 * @author jgp
public class SplittingDataframeApp {
   * main() is your entry point to the application.
   * @param args
  public static void main(String[] args) {
    SplittingDataframeApp app = new SplittingDataframeApp();
    app.start();
   * The processing code.
  private void start() {
    // Creates a session on a local master
    SparkSession spark = SparkSession.builder()
        .appName("Splitting a dataframe to collect it")
        .master("local")
        .getOrCreate();
    Dataset<Row> df = createRandomDataframe(spark);
    df = df.cache();
    df.show();
    long count = df.count();
    long inc = count / 10;
    for (long i = 0; i < count; i += inc) {
      Dataset<Row> filteredDf =
          df.where("id>=" + i + " AND id<" + (i + inc));
      List<Row> rows = filteredDf.collectAsList();
      for (Row r : rows) {
        System.out.printf("%d: %s\n", r.getAs(0), r.getString(1));
  private static Dataset<Row> createRandomDataframe(SparkSession spark) {
    StructType schema = DataTypes.createStructType(new StructField[] {
        DataTypes.createStructField(
            "id",
            DataTypes.IntegerType,
            false),
        DataTypes.createStructField(
            "value",
            DataTypes.StringType,
            false) });
    List<Row> rows = new ArrayList<Row>();
    for (int i = 0; i < 100; i++) {

推荐文章

重感情的包子 · 如何基于BucketPolicy实现跨部门数据共享_对象存储(OSS)-阿里云帮助中心

1 周前

刚毅的酱肘子 · 实人认证如何将iOS SDK集成到应用中-阿里云帮助中心

1 周前

霸气的小虾米 · 你知道App如何自动绑定用户关系吗？ | 人人都是产品经理

1 周前

稳重的冰淇淋 · AutoGPT：有手就会的安装教程

3 天前

想出国的钱包 · ASP.NET Core MVC 概述 | Microsoft Learn

10 小时前

紧张的铅笔 · html标签拼接时，为什么有时候需要加转义字符 - 知乎

1 年前

快乐的领结 · shiro使用——整合spring_只因妮泰妹的博客-CSDN博客

1 年前

英勇无比的苹果 · 2022-05-20 同时解决使用jupyter创建python时错误Creating Notebook Failed或者occurred while 以及jupyter的kernel error问题 - 简书

1 年前

急躁的手套 · 多级部门查询性能问题解决方案 - 腾讯云开发者社区-腾讯云

1 年前

慷慨的包子 · 一日一技 | 免 root、无需 ADB，用通知滤盒干掉 MIUI 的广告推送 - 少数派

1 年前

不会耗尽内存的Spark打印数据帧

2 个回答