-
问题描述：（a union all b）两段sql单独执行都有数据，但是union all之后无数据或者少数据
-
其他：a&b均为从orc格式的表中取数，且执行计划explain显示无reduce算子
-
初步推测：orc格式存储+无reduce导致（所以实验了row_number→可行；distinct→可行），数据准确了，但是不太理解
-
经问同事后，加上set hive.optimize.index.filter=false查询就可以了，问题的原因可能是数据加工过程中orc文件的一些元数据丢失了
-
set hive.optimize.index.filter=false 将元数据优化关掉
方法二
方法三
文章目录前言推荐阅读前言问题描述：（a union all b）两段sql都有数据，但是union all之后无数据其他：a&b均为从orc格式的表中取数，且执行计划explain显示无reduce算子初步推测：orc格式存储+无reduce导致，因此各加了distinct，数据准确了，但是不太理解经问同事后，加上set hive.optimize.index.filter=false查询就可以了，问题的原因可能是数据加工过程中orc文件的一些元数据丢失了推荐阅读Hive数仓建表
在使用
hive
sql 进行
union
all查询结果时，缺
少
数据
在使用
hive
sql 进行join 关联时,查询结果明显缺
少
数据
，或于presto或其他查询渠道查询结果不一致时
原因可能是orc文件在加工过程中造成的部分元
数据
丢失
，关闭元
数据
优化就可以了
set
hive
.optimize.index.filter=false;
xxxxx
from table
lateral view explode(split(regexp_replace(businessdict,'\\[|\\]','__'),'__')) col as jsons
where pt=${v_1day} and businessdict like '%name%'
union
all
select
from table
当使用 lateral view ...
春去秋来，转眼一年又快过去了，这大半年遇到的坑再不记录就忘记了。公司hadoop集群从年初的200台多点到现在的700+，用户越来越多，遇到的坑就越来越多，大坑必须做好熬夜的准备，还好每一次加班都填平了坑。
1、
hive
丢
数据
了
最近周五将要下班的时候接到同事的电话说一个作业丢
数据
了将近200万，顿时隐隐感觉不妙，立马投入查看作业日志的进程中。分析作业日志发现临时...
hive
支持
union
吗
Expedia Group Technology —
数据
(EXPEDIA GROUP TECHNOLOGY — DATA)
关于
Hive
进行为期4个月的
数据
丢失
问题调查的故事 (Story of a 4 month long investigation into data loss issues with
Hive
)
Photo by Emily Morter on...
1.create database XXX；
2.sql文件路径下运行
hive
-f XXX.sql
注：若出现错误line1:0 不识别，检查sql文件和编码格式（应该为utf-8 无bom）
UE修改文件格式
用datax导入
hive
表
元
数据
存于mysql
1.配置文件：mysql2
hive
.json
job: {
content: [
reader: {
name: mysqlreader,
2.
union
all 合并的是所有的列。
但是如果在按照某一条件进行查询时，如果表中
数据
没有符合该条件的记录。（即按此条件查询，表中查找到的的记录每列都为空）此时
union
all并不能合并这种空的记录。
比如新建一个表名为t_student的表。记录学生的姓名，性别，年龄和成绩等基础信息。
在t_student表中查询名为李明，小河，张三的姓名和成绩。
select
