BigQuery /气流-不能创建分区表开发者社区

相关文章推荐

帅气的弓箭 · PowerApps ...· 2 周前 ·

忐忑的柚子 · 除了黄蓉华筝，还有两人爱过郭靖，一个见异思迁 ...· 9 月前 ·

直爽的牛肉面 · 从建党伟业中汲取奋进力量——电影《1921》 ...· 1 年前 ·

没读研的日记本 · 亲爱的别担心 - 知乎· 1 年前 ·

豁达的钢笔 · 凯迪拉克LYRIQ锐歌将于6月6日公布售价_ ...· 1 年前 ·

没有腹肌的海豚 · 中国联通副总经理李刚已离职 ...· 1 年前 ·

google.api_core.exceptions.BadRequest: 400 POST https://bigquery.googleapis.com/bigquery/v2/projects/MY_PROJECT/datasets/MY_DATASET/tables?prettyPrint=false: Invalid JSON payload received. Unknown name "timePartitioning" at 'table': Proto field is not repeating, cannot start list

create = BigQueryCreateEmptyTableOperator(
   task_id="create",
   bigquery_conn_id='google_cloud',
   project_id="MY_PROJECT",
   dataset_id="MY_DATASET",
   table_id=table_name,
   schema_fields=self.get_schema(),
   time_partitioning={'field': 'ds', 'type' : 'DAY'},
)

import os
import time
import datetime
from datetime import datetime, date, time, timedelta
from airflow import models
from airflow.providers.google.cloud.operators.bigquery import (
    BigQueryCreateEmptyDatasetOperator,
    BigQueryCreateEmptyTableOperator,
from airflow.utils.dates import days_ago
PROJECT_ID = os.environ.get("GCP_PROJECT_ID", "your-project-id")
DATASET_NAME = os.environ.get("GCP_BIGQUERY_DATASET_NAME", "testdataset")
TABLE_NAME = "partitioned_table"
SCHEMA = [
    {"name": "value", "type": "INTEGER", "mode": "REQUIRED"},
    {"name": "ds", "type": "DATE", "mode": "NULLABLE"},
dag_id = "example_bigquery"
with models.DAG(
    dag_id,
    schedule_interval="@hourly",  # Override to match your needs
    start_date=days_ago(1),
    tags=["example"],
    user_defined_macros={"DATASET": DATASET_NAME, "TABLE": TABLE_NAME},
    default_args={"project_id": PROJECT_ID},
) as dag_with_locations:
    create_dataset = BigQueryCreateEmptyDatasetOperator(
        task_id="create-dataset", dataset_id=DATASET_NAME, project_id=PROJECT_ID
    create_table = BigQueryCreateEmptyTableOperator(
        task_id="create_table",
        dataset_id=DATASET_NAME,
        table_id=TABLE_NAME,
        schema_fields=SCHEMA,
        time_partitioning={

推荐文章

帅气的弓箭 · PowerApps -创建我自己的表还是使用Dataverse表？ - 腾讯云开发者社区 - 腾讯云

2 周前

忐忑的柚子 · 除了黄蓉华筝，还有两人爱过郭靖，一个见异思迁，一个被金庸删了_程瑶

9 月前

直爽的牛肉面 · 从建党伟业中汲取奋进力量——电影《1921》引发观众强烈共鸣-新华网

1 年前

没读研的日记本 · 亲爱的别担心 - 知乎

1 年前

豁达的钢笔 · 凯迪拉克LYRIQ锐歌将于6月6日公布售价_太平洋汽车网

1 年前

没有腹肌的海豚 · 中国联通副总经理李刚已离职未去虚拟运营商|虚拟运营商|中国联通|李刚_通讯与电讯_新浪科技_新浪网

1 年前

回答 1

Stack Overflow用户