tage-Stage-1: Map: 59 Reduce: 27 Cumulative CPU: 10746.87 sec HDFS Read: 6853568415 HDFS Write: 36377053007 SUCCESS
INFO : Stage-Stage-2: Map: 284 Reduce: 171 Cumulative CPU: 31357.83 sec HDFS Read: 43556220234 HDFS Write: 16704282606 SUCCESS
INFO : Total MapReduce CPU Time Spent: 0 days 11 hours 41 minutes 44 seconds 700 msec
Time taken: 3448.166 seconds
耗时：3448秒
以上结果显示先union all在使用group by去重效率比直接使用union高一倍。
大数据量面前 distinct去重显得太鸡肋了。
我们从细节看：
先使用union all在进行group by去重：
job num:1
Map num:184
Reduce num:55
Time taken: 1669.613 seconds
直接使用union的去重方式：
job num:2
job1_Map num:59
job1_Reduce num:27
job1_Map num:284
job1_Reduce num:171
Time taken: 3448.166 seconds
需要注意的是HIVE1.2.0版本之前只有UNION ALL不支持UNIONHive 1.2.0之前的版本仅支持UNION ALL，其中重复的行不会被删除。Hive 1.2.0和更高版本中，UNION的默认行为是从结果中删除重复的行。下面是官方的使用文档：select_statement UNION [ALL | DISTINCT] select_statement UNION [ALL...
当您需要处理大量数据时，存储它们是一个不错的选择。令人难以置信的发现或未来预测不会来自未使用的数据。大数据是一个复杂的怪兽。用Java?编程语言编写复杂的MapReduce程序要耗费很多时间、良好的资源和专业知识，这正是大部分企业所不具备的。这也是在Hadoop上使用诸如Hive之类的工具构建数据库会成为一个功能强大的解决方案的原因。如果一家公司没有资源构建一个复杂的大数据分析平台，该怎么办？当业务智能(BI)、数据仓库和分析工具无法连接到ApacheHadoop系统，或者它们比需求更复杂时，又该怎样办？大多数企业都有一些拥有关系数据库管理系统(RDBMSes)和结构化查询语言(SQL)经验的
在工作中有时候会用到union all来进行合并，但如果用到union all的个数大于2的时候，效率就会变低。此时可以用insert into 的方法将原来的sql拆成多个，实测效率可以提升50%。
代码示例：
--用union all
insert overwtite table xxxx
select a, b, c from table1
union all
select d,...
1、读Hive表数据
pyspark读取hive数据非常简单，因为它有专门的接口来读取，完全不需要像hbase那样，需要做很多配置，pyspark提供的操作hive的接口，使得程序可以直接使用SQL语句从hive里面查询需要的数据，代码如下：
from pyspark.sql import HiveContext,SparkSession
_SPARK_HOST = "spark://spark-master:7077"
_APP_NAME = "test"
spark_session = SparkSession.builder.master(_SPARK_HOST).appName(_A
先说说思路：1是直接从mysql输出至hive中，另外一个是先将数据搞到hdfs中，再load一下，当然这只是textfile存储格式而言，若是ORC等其他列式存储的话建议先搞一个textfile格式的中间表，再insert into table select 插进去
太学浅，还是就第一种在人理解上最好的一种先记录一下
1.连接hive对外服务的组件hiveserver2
点击测试，OK之后会显示测试成功
测试直接将mysql中的stdcode表导入一下
抽取数据，插入的目标库中有没有对应为表的话点击下方的SQL，会默认执行DDL语句，create一下表，接下来NEXT
成功！当然具体的
SELECT user_id, CREATE_TIME, shop_id
FROM large_fore_credit_apply_record
WHERE shop_id = '2000043'
UNION ALL
SELECT user_id, CREATE_TIME, shop_id
FROM large_apply_credit_record
WHERE shop_id = '2000043'
UNION ALL
SELECT user
1. 先Union All， 再Group By
select inctmid ctmid,cnlid,inwhsid whsid,sum(qty) qty,goodsid
( select inctmid,cnlid,inwhsid,qty,goodsid
UNION 操作符用于合并两个或多个 SELECT 语句的结果集。
请注意，UNION 内部的 SELECT 语句必须拥有相同数量的列。列也必须拥有相似的数据类型。同时，每条 SELECT 语句中的列的顺序必须相同。
UNION 操作符选取不同的值。如果允许重复的值，请使用 UNION ALL。
sql语法:
select id,`name` FROM stu
union
select id,`name` from stu2
在此建了两张表来比较union和union all的区别:
> (select 122 as userid,100024 as apptypeid
> union all
> select 123 as userid,100024 as apptypeid
> union all
> select 123 as userid,1
1、开启FetchTask
一个简单的查询语句，是指一个没有函数、排序等功能的语句，当开启一个Fetch Task功能，就执行一个简单的查询语句不会生成MapRreduce作业，而是直接使用FetchTask，从hdfs文件系统中进行查询输出数据，从而提高效率。
设置的方式：
Hive.fetch.task.c
使用临时表的情况：
sort buffer、内存临时表和 join buffer。这三个数据结构都是用来存放语句执行过程中的中间数据，以辅助 SQL 语句的执行的。其中，我们在排序的时候用到了 sort buffer，在使用 join 语句的时候用到了 join buffer。
1. union 执行流程
create table t1(id int primary key, a int,...
