相关文章推荐
风流倜傥的火车  ·  南京市委·  4 月前    · 
私奔的自行车  ·  故宫手链价格_故宫手链最新报价_故宫手链多少 ...·  1 年前    · 
爱笑的草稿本  ·  电竞圈5位最帅职业选手,冷少第二,OW的A哥 ...·  1 年前    · 
俊秀的啄木鸟  ·  八一电影制片厂诞生60年:红色经典陪伴几代人 ...·  1 年前    · 
很拉风的猕猴桃  ·  特邀讲者-虚拟现实与交互技术研究院·  1 年前    · 
Code  ›  用Dataproc无服务器从BigQuery数据表编写PySpark表开发者社区
overflow 数据表
https://cloud.tencent.com/developer/ask/sof/107351051
会搭讪的骆驼
1 年前
首页
学习
活动
专区
工具
TVP 最新优惠活动
返回腾讯云官网
提问

问 用Dataproc无服务器从BigQuery数据表编写PySpark表

Stack Overflow用户
提问于 2022-10-08 08:30:53
EN

摘要:我无法获得星火数据并将其写入BigQuery表。

详细信息:我正在Dataproc中运行一个无服务器的批处理作业,直接从BigQuery / Cloud读取数据,进行一些特性工程并将其保存在Bigquery上。然而,在一个例程中,我无法检索Dataframe,并指责:

22/10/08 08:13:21 WARN BigQueryDataSourceWriterInsertableRelation: It seems that 184 out of 16 partitions have failed, aborting
22/10/08 08:13:21 WARN BigQueryDirectDataSourceWriterContext: BigQuery Data Source writer aedb4dc8-28c5-4118-9dcc-de2ef689e75c aborted

不太确定,但我的星火配置似乎无法处理这个过程。我的配置是:

--properties spark.executor.instances=10,spark.driver.cores=16,spark.executor.cores=16

我的写作代码:

user_item_interaction_df.write.format("bigquery").option("writeMethod", "direct").mode("overwrite").save()

顺便说一句,我正在运行一些Joins和十字路口,我知道它们很昂贵。最终的输出表应该有33M左右。

任何想法都欢迎!

1 131 0 票数 2
EN
apache-spark
google-bigquery
google-cloud-dataproc

回答 1

Stack Overflow用户

回答已采纳

发布于 2022-10-15 02:45:28

从 com.google.cloud.spark.bigquery.repackaged.io.grpc.StatusRuntimeException: RESOURCE_EXHAUSTED: Exceeds 'AppendRows throughput' quota, user_id: ... (status: INSUFFICIENT_TOKENS), you can issue a raise quota request through Google Cloud Console. Be sure to include this full error message in the request description. Entity: projects/... 错误判断(更多细节请参见 GH问题 ),看来您的火花作业对BigQuery的打击太大了。

您可以尝试两种方法来解决这个问题:

  1. 按照异常中的建议请求更多的配额
  2. 例如,通过减少具有 spark.dynamicAllocation.maxExecutors=100 属性的执行程序的最大数量来限制作业的规模。注意,此属性的默认值是 1000 。
票数 1
EN
页面原文内容由 Stack Overflow 提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/73995508

复制

Copyright © 2013 - 2023 Tencent Cloud.

All Rights Reserved. 腾讯云 版权所有

 
推荐文章
风流倜傥的火车  ·  南京市委
4 月前
私奔的自行车  ·  故宫手链价格_故宫手链最新报价_故宫手链多少钱-苏宁易购
1 年前
爱笑的草稿本  ·  电竞圈5位最帅职业选手,冷少第二,OW的A哥让女粉疯狂_竞WF.D战队
1 年前
俊秀的啄木鸟  ·  八一电影制片厂诞生60年:红色经典陪伴几代人-中新网
1 年前
很拉风的猕猴桃  ·  特邀讲者-虚拟现实与交互技术研究院
1 年前
今天看啥   ·   Py中国   ·   codingpro   ·   小百科   ·   link之家   ·   卧龙AI搜索
删除内容请联系邮箱 2879853325@qq.com
Code - 代码工具平台
© 2024 ~ 沪ICP备11025650号