通过RowVersion更新记录，使用 "SQL WHERE "来过滤MAX值

0 人关注

试图根据现有表中的RowVersion值来更新一个表。我的数据湖每周更新一次，新数据以.json文件的形式存储，其中包含任何新的RowVersions。

1)查询我的数据仓库中的现有表格，找到最新的RowVersion（即最大）。

2)使用该值在我的数据仓库中只过滤/选择大于我刚刚确定的RowVersion的记录

3)更新我的表以包括新的行。

我的问题是--下面的SQL，我不确定如何在当前表中选择最大的RowNumber，然后用它来过滤/指定我在查询S3 Bucket时想要返回的内容。

create or replace temporary table UPDATE_CAR_SALES AS
SELECT 
VALUE:CAR::string AS CARS,
VALUE:RowVersion::INT AS ROW_VERSION
having row_version > max(row_version)
from '@s3_bucket',
 lateral flatten( input => $1:value);


         amazon-web-services


         amazon-s3

etl


         snowflake-cloud-data-platform


        1
        
        个回答


          
           
           
            Gokhan Atil
           
          
          
           发布于
           
           2019-12-24


         0
         
         人赞同


          
           我不清楚你是如何存储这些数据的。CARS列是唯一的吗？你需要找到每辆车的最大行版本还是所有的车/行？无论如何，你可以用一个子查询来过滤那些行版本高于最大值的行。
          
          create or replace temporary table UPDATE_CAR_SALES AS 
SELECT 
VALUE:CAR::string AS CARS,
VALUE:RowVersion::INT AS ROW_VERSION
FROM @s3_bucket, lateral flatten( input => $1 )
where ROW_VERSION > (SELECT MAX(RowVersion) 
from MAIN_TABLE);
如果你需要过滤行，基于每辆车的行版本（现有表格的）。
create or replace temporary table UPDATE_CAR_SALES AS 
SELECT * FROM (SELECT
VALUE:CAR::string AS CARS,
VALUE:RowVersion::INT AS ROW_VERSION
FROM @s3_bucket, lateral flatten( input => $1 )) temp_table

推荐文章

留胡子的鼠标 · MySQL字段等值查询时，尾部有空格也能匹配上的坑 - waterystone

3 月前

挂过科的葡萄 · 使用MERGE INTO将插入更新和删除操作合并为单条语句-云原生大数据计算服务 MaxCompute-阿里云

1 周前

爱看球的杨桃 · 使用 FOR JSON 將查詢結果格式化為 JSON - SQL Server | Microsoft Learn

昨天

8 月前

逼格高的橙子 · 长沙理工大学城南学院“国家电网客服中心南方分中心暑期实践”出征 ...

9 月前

另类的钢笔 · transform.suite '25

9 月前

憨厚的登山鞋 · 主题网络爬虫研究综述

10 月前

一身肌肉的茶叶 · 云南白药牙膏价格_云南白药牙膏最新报价_云南白药牙膏多少钱-苏宁 ...

10 月前