相关文章推荐
神勇威武的菠萝  ·  错误 CS0501 必须声明主体,因为它未标 ...·  2 年前    · 
爱搭讪的抽屉  ·  键盘党的自我修养——Autohotkey快捷 ...·  2 年前    · 
豪爽的西装  ·  在生成中处理代码生成 - MSBuild ...·  2 年前    · 
Code  ›  用Dataproc无服务器从BigQuery数据表编写PySpark表开发者社区
overflow 数据表
https://cloud.tencent.com/developer/ask/sof/107351051
会搭讪的骆驼
1 年前
首页
学习
活动
专区
工具
TVP 最新优惠活动
返回腾讯云官网
提问

问 用Dataproc无服务器从BigQuery数据表编写PySpark表

Stack Overflow用户
提问于 2022-10-08 08:30:53
EN

摘要:我无法获得星火数据并将其写入BigQuery表。

详细信息:我正在Dataproc中运行一个无服务器的批处理作业,直接从BigQuery / Cloud读取数据,进行一些特性工程并将其保存在Bigquery上。然而,在一个例程中,我无法检索Dataframe,并指责:

22/10/08 08:13:21 WARN BigQueryDataSourceWriterInsertableRelation: It seems that 184 out of 16 partitions have failed, aborting
22/10/08 08:13:21 WARN BigQueryDirectDataSourceWriterContext: BigQuery Data Source writer aedb4dc8-28c5-4118-9dcc-de2ef689e75c aborted

不太确定,但我的星火配置似乎无法处理这个过程。我的配置是:

--properties spark.executor.instances=10,spark.driver.cores=16,spark.executor.cores=16

我的写作代码:

user_item_interaction_df.write.format("bigquery").option("writeMethod", "direct").mode("overwrite").save()

顺便说一句,我正在运行一些Joins和十字路口,我知道它们很昂贵。最终的输出表应该有33M左右。

任何想法都欢迎!

1 131 0 票数 2
EN
apache-spark
google-bigquery
google-cloud-dataproc

回答 1

Stack Overflow用户

回答已采纳

发布于 2022-10-15 02:45:28

从 com.google.cloud.spark.bigquery.repackaged.io.grpc.StatusRuntimeException: RESOURCE_EXHAUSTED: Exceeds 'AppendRows throughput' quota, user_id: ... (status: INSUFFICIENT_TOKENS), you can issue a raise quota request through Google Cloud Console. Be sure to include this full error message in the request description. Entity: projects/... 错误判断(更多细节请参见 GH问题 ),看来您的火花作业对BigQuery的打击太大了。

您可以尝试两种方法来解决这个问题:

  1. 按照异常中的建议请求更多的配额
  2. 例如,通过减少具有 spark.dynamicAllocation.maxExecutors=100 属性的执行程序的最大数量来限制作业的规模。注意,此属性的默认值是 1000 。
票数 1
EN
页面原文内容由 Stack Overflow 提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/73995508

复制

Copyright © 2013 - 2023 Tencent Cloud.

All Rights Reserved. 腾讯云 版权所有

 
推荐文章
神勇威武的菠萝  ·  错误 CS0501 必须声明主体,因为它未标记为 abstract、extern 或 partial - vv彭 - 博客园
2 年前
爱搭讪的抽屉  ·  键盘党的自我修养——Autohotkey快捷编辑 - awsome365 - 简书
2 年前
豪爽的西装  ·  在生成中处理代码生成 - MSBuild | Microsoft Learn
2 年前
今天看啥   ·   Py中国   ·   codingpro   ·   小百科   ·   link之家   ·   卧龙AI搜索
删除内容请联系邮箱 2879853325@qq.com
Code - 代码工具平台
© 2024 ~ 沪ICP备11025650号