相关文章推荐
任性的数据线  ·  威斯塔克迪卡大公国_百度百科·  2 年前    · 
玩足球的斑马  ·  买了笔记本电脑,盒子可以丢掉或卖了吗? - 知乎·  2 年前    · 
飘逸的青蛙  ·  雷达汽车5月销量破千台 ...·  2 年前    · 
神勇威武的葫芦  ·  前景到底如何?浅谈MG ...·  2 年前    · 
爽快的墨镜  ·  民生实事与重点业务工作-深圳市统计局网站·  2 年前    · 
Code  ›  sqoop从mysql导入hive parquet表timestamp,decimal转换问题开发者社区
hive 时间戳 sqoop parquet
https://cloud.tencent.com/developer/article/1826271
坚强的罐头
2 年前
作者头像
全栈程序员站长
0 篇文章

sqoop从mysql导入hive parquet表timestamp,decimal转换问题

前往专栏
腾讯云
备案 控制台
开发者社区
学习
实践
活动
专区
工具
TVP
文章/答案/技术大牛
写文章
社区首页 > 专栏 > 全栈程序员必看 > 正文

sqoop从mysql导入hive parquet表timestamp,decimal转换问题

发布 于 2021-05-19 15:54:58
1.2K 0
举报

注意两个地方: 1.时间转换问题:timestamp、date,time 以上时间类型会被sqoop转成int,long型,无法直接转成时间类型 如果要转的有两个办法:

  • 1)转成long型,再用from_unixtime转回来,才能看时间(太麻烦)—–parquet表的类型对应为bigint select *, from_unixtime(cast(SOURCE_LOAD_DATE as BIGINT) DIV 1000000) as SOURCE_LOAD_DATE from table_name;
  • 2)直接转成string型(直观,可以直接看)——parquet表的数据类型对应为string

另外: 处理datetime中有null的情况 在sql connnect中加入: zeroDateTimeBehavior=convertToNull

 
推荐文章
任性的数据线  ·  威斯塔克迪卡大公国_百度百科
2 年前
玩足球的斑马  ·  买了笔记本电脑,盒子可以丢掉或卖了吗? - 知乎
2 年前
飘逸的青蛙  ·  雷达汽车5月销量破千台 实现增长突破_搜狐汽车_搜狐网
2 年前
神勇威武的葫芦  ·  前景到底如何?浅谈MG MULAN和凯迪拉克LYRIQ锐歌|奥迪q5|后驱|四驱版_网易订阅
2 年前
爽快的墨镜  ·  民生实事与重点业务工作-深圳市统计局网站
2 年前
今天看啥   ·   Py中国   ·   codingpro   ·   小百科   ·   link之家   ·   卧龙AI搜索
删除内容请联系邮箱 2879853325@qq.com
Code - 代码工具平台
© 2024 ~ 沪ICP备11025650号