from_unixtime(BIGINT unixtime [, STRING format])
from_unixtime函数 使用时间戳单位必须是秒
create_time为BIGINT格式,转化为秒
create_time/1000 但结果变为DOUBLE格式
用cast先转换
from_unixtime(cast(create_time/1000 as bigint)) as begin_time
HIVE中不填写格式默认转化为标准格式。
也可以写成所需格式:
from_unixtime(cast(create_time/1000 as bigint),'yyyy-MM-dd HH:mm:ss') as begin_time
要注意’yyyy-MM-dd HH:mm:ss’的大小写 mm相同无法区分,所以用大小写区分月份和分钟。
HIVE SQL中13位毫秒时间戳转化为标准日期from_unixtime(BIGINT unixtime [, STRING format])from_unixtime函数 使用时间戳单位必须是秒create_time为BIGINT格式,转化为秒create_time/1000 但结果变为DOUBLE格式用cast先转换from_unixtime(cast(create_time/1...
concat(t,".",substring(1611231717343,11,13))
from(
select from_unixtime(cast(substring(1611231717343,0,10) as bigint),'yyyy-MM-dd HH:dd:ss') as t
)tmp;
执行结果如下:
如果想转换成"yyyy-MM-dd HH:dd:ss",需要将13位时间戳转换成11位时间戳,注意转换过程中函数入参数据类型
hive sql 中有时间戳转日期的函数
from_unixtime(BIGINT unixtime [, STRING format])
这里面的unixtime,输入单位是秒,也就一个十位的BIGINT。但是我们实际中用的时间戳,一般都是13位的到毫秒时间戳,如果直接将该时间戳输入方法中会有错误。
如果是13位时间戳,可以这么使用
from_unixtime(cast(timestamp/1000 as bigint)) as xxx_time
timestamp/1000 是一个double类型,直
固定日期转换成时间戳
select unix_timestamp('2016-08-16','yyyy-MM-dd') --1471276800
select unix_timestamp('20160816','yyyyMMdd') --1471276800
select unix_timestamp('2016-08-16T10:02:41Z', "yyyy-MM-dd'T'HH:mm:ss'Z'") --1471312961
16/Mar/2017:12:25:01 +0800 转成正常格式(yyy
例如:select unix_timestamp() --1565858389
2.unix_timestamp(string timestame) 输入的时间戳格式必须为'yyyy-MM-dd HH:mm:ss',如不符合则返回null
sele...
当多个 distinct 操作同时出现在 select 中,数据会分发多次。容易造成Reduce数据倾斜
1、如果不要求精确值,可以使用 spark-sql approx_count_distinct函数 (基数计数 hyperloglog)
2、修改SQL
基础数据准备如下, 需要计算 不同渠道下的 不同周期 的访问uv
presto:bi> desc tmp.multi_distinct_test;
Column | Type | Extra | Comment
---------+---------+-------+----------
user_id | bi
--时间转13位毫秒级时间戳
SELECT CONVERT(BIGINT,DATEDIFF(MI,'1970-01-01 00:00:00.000', GETUTCDATE())) * 60000 + DATEPART(S,GETUTCDATE()) * 1000 + DATEPART(MS, GETUTCDATE())
--13位毫秒级时间戳时间格式
SELECT DATEADD (MS ,CONVERT(BIGINT,1631416248943) % 60000 ,DATEADD(MI,CONVE.