相关文章推荐
博学的豌豆  ·  oracle中计算两个日期的相差天数、月数、 ...·  2 年前    · 
有情有义的山羊  ·  气象站差点被雪埋!吉林辽宁遭特大暴雪袭击,局 ...·  3 年前    · 
慷慨大方的手套  ·  数据流中的中位数 - 低吟不作语 - 博客园·  3 年前    · 
热心的皮蛋  ·  sql - CREATE FILE ...·  3 年前    · 
忧郁的作业本  ·  no connection could ...·  3 年前    · 
Code  ›  用Dataproc无服务器从BigQuery数据表编写PySpark表开发者社区
overflow 数据表
https://cloud.tencent.com/developer/ask/sof/107351051
会搭讪的骆驼
2 年前
首页
学习
活动
专区
工具
TVP 最新优惠活动
返回腾讯云官网
提问

问 用Dataproc无服务器从BigQuery数据表编写PySpark表

Stack Overflow用户
提问于 2022-10-08 08:30:53
EN

摘要:我无法获得星火数据并将其写入BigQuery表。

详细信息:我正在Dataproc中运行一个无服务器的批处理作业,直接从BigQuery / Cloud读取数据,进行一些特性工程并将其保存在Bigquery上。然而,在一个例程中,我无法检索Dataframe,并指责:

22/10/08 08:13:21 WARN BigQueryDataSourceWriterInsertableRelation: It seems that 184 out of 16 partitions have failed, aborting
22/10/08 08:13:21 WARN BigQueryDirectDataSourceWriterContext: BigQuery Data Source writer aedb4dc8-28c5-4118-9dcc-de2ef689e75c aborted

不太确定,但我的星火配置似乎无法处理这个过程。我的配置是:

--properties spark.executor.instances=10,spark.driver.cores=16,spark.executor.cores=16

我的写作代码:

user_item_interaction_df.write.format("bigquery").option("writeMethod", "direct").mode("overwrite").save()

顺便说一句,我正在运行一些Joins和十字路口,我知道它们很昂贵。最终的输出表应该有33M左右。

任何想法都欢迎!

1 131 0 票数 2
EN
apache-spark
google-bigquery
google-cloud-dataproc

回答 1

Stack Overflow用户

回答已采纳

发布于 2022-10-15 02:45:28

从 com.google.cloud.spark.bigquery.repackaged.io.grpc.StatusRuntimeException: RESOURCE_EXHAUSTED: Exceeds 'AppendRows throughput' quota, user_id: ... (status: INSUFFICIENT_TOKENS), you can issue a raise quota request through Google Cloud Console. Be sure to include this full error message in the request description. Entity: projects/... 错误判断(更多细节请参见 GH问题 ),看来您的火花作业对BigQuery的打击太大了。

您可以尝试两种方法来解决这个问题:

  1. 按照异常中的建议请求更多的配额
  2. 例如,通过减少具有 spark.dynamicAllocation.maxExecutors=100 属性的执行程序的最大数量来限制作业的规模。注意,此属性的默认值是 1000 。
票数 1
EN
页面原文内容由 Stack Overflow 提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/73995508

复制

Copyright © 2013 - 2023 Tencent Cloud.

All Rights Reserved. 腾讯云 版权所有

 
推荐文章
博学的豌豆  ·  oracle中计算两个日期的相差天数、月数、年数、小时数、分钟数、秒数等_oracler计算二个时间相差天数小时和分钟的函数-CSDN博客
2 年前
有情有义的山羊  ·  气象站差点被雪埋!吉林辽宁遭特大暴雪袭击,局部积雪半米多_腾讯新闻
3 年前
慷慨大方的手套  ·  数据流中的中位数 - 低吟不作语 - 博客园
3 年前
热心的皮蛋  ·  sql - CREATE FILE encountered operating system error 5(failed to retrieve text for this error. Reason: 15105) - Stack Overflow
3 年前
忧郁的作业本  ·  no connection could be made because the target machine actively refused it.问题解决_chde2Wang的博客-CSDN博客
3 年前
今天看啥   ·   Py中国   ·   codingpro   ·   小百科   ·   link之家   ·   卧龙AI搜索
删除内容请联系邮箱 2879853325@qq.com
Code - 代码工具平台
© 2024 ~ 沪ICP备11025650号