2、使用Hive分析nginx日志，网站的访问日志部分内容为：
cat /home/hadoop/hivetestdata/nginx.txt
192.168.1.128 - - [09/Jan/2015:12:38:08 +0800] "GET /avatar/helloworld.png HTTP/1.1" 200 1521 "http://write.blog.csdn.net/postlist" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.131 Safari/537.36"
183.60.212.153 - - [19/Feb/2015:10:23:29 +0800] "GET /o2o/media.html?menu=3 HTTP/1.1" 200 16691 "-" "Mozilla/5.0 (compatible; EasouSpider; +http://www.easou.com/search/spider.html)"
这条日志里面有九列，每列之间是用空格分割的，
每列的含义分别是客户端访问IP、用户标识、用户、访问时间、请求页面、请求状态、返回文件的大小、跳转来源、浏览器UA。
我们使用Hive中的正则表达式匹配这九列：
([^ ]*) ([^ ]*) ([^ ]*) (\[.*\]) (\".*?\") (-|[0-9]*) (-|[0-9]*) (\".*?\") (\".*?\")
于此同时我们可以在Hive中指定解析文件的序列化和反序列化解析器(SerDe)，并且在Hive中内置了一个org.apache.hadoop.hive.serde2.RegexSerDe正则解析器，我们可以直接使用它。
3、建表语句
CREATE TABLE logs
(
host STRING,
identity STRING,
username STRING,
time STRING,
request STRING,
status STRING,
size STRING,
referer STRING,
agent STRING
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.RegexSerDe'
WITH SERDEPROPERTIES (
"input.regex" = "([^ ]*) ([^ ]*) ([^ ]*) (\\[.*\\]) (\".*?\") (-|[0-9]*) (-|[0-9]*) (\".*?\") (\".*?\")",
"output.format.string" = "%1$s %2$s %3$s %4$s %5$s %6$s %7$s %8$s %9$s"
)
STORED AS TEXTFILE;
4、加载数据：
load data local inpath '/home/hadoop/hivetestdata/nginx.txt' into table logs;
查询每小时的访问量超过100的IP地址：
select substring(time, 2, 14) datetime ,host, count(*) as count
from logs
group by substring(time, 2, 14), host
having count > 100
sort by datetime, count;
首先对
正则
表达式、有限自动机、非确定性有限状态自动机、确定性有限状态自动机、汤普森构造法、汤普森提出的
正则
表达式搜索算法进行介绍，然后基于该算法，实现了一个
正则
表达式
解析器
通常情况下，
Hive
导入的是单一分割符的数据。如果需要导入格式复杂一点的data，可以
使用
hive
自导的
Regex
S
erD
e来实现。
Regex
S
erD
e类是
hive
自带的，
使用
正则
表达式来支持复杂的data导入。
在
hive
0.11中，自带了两个
Regex
S
erD
e类：
org.apache.Hadoop.
hive
.contrib.s
erd
e2.
Regex
S
erD
e;
org.apach
ANTLR 是 ANother Tool for Language Recognition的首字母，是一个语言类工具，主要充当翻译器、编译器、识别器、或者是
分析
器这样的一个角色，也就是将一些列规则翻译成特定语言代码(Java, C/C++, C#, Python, Ruby)的一个工具。说直白点就是定义语法规则文件—>生成特定语言解析规则文件的代码—>被特定的语言所识别，想想我们的
Hive
-Sql 是不是就是这样的，不然SQL怎么转化成MR程序。Antlr (ANother Tool for Langua
1）用户接口：Client
2）元数据：Metastore （
hive
和HDFS之间的映射关系），包括：表名、表所属的数据库、字段等
· 元数据将
hive
中的表和HDFS中的路径做一个映射。
· 默认存储在自带的 derby 数据库（erby默认只能单用户）中，推荐
使用
MySQL 存储 Metastore；
3）Hadoop
使用
HDFS 进行存储，
使用
MapReduce 进行计算。
4）驱动器：Driver ★
（1）
解析器
：将 SQL 转换成MR的任务需要的对应的元数据等准备工作；
.....
1.
Hive
创建表时
正则
表达式与java代码中一致,
Regex
S
erD
e 中用\\来表示反转码create table inst_cn_3 (ip string,time string,mac string,lan string,ver string,lc string,pn string,reg string,vrf string,line string)ROW FORMAT S
ERD
E '...
Hadoop生态圈
Hadoop生态圈包括HDFS 、MapReduce、Yarn三大核心外，
Hive
、Hbase、Flume、Sqoop都是附属于Hadoop这个生态圈下工具
1.HDFS
HDFS（Hadoop Distributed File System）是HDFS是一个分布式文件系统，他涉及hadoop生态圈中的数据存储，MapReduce计算模型基于存储在HDFS中的数据进行计算。
HDFS中文件在物理介质的存储方式是 分块(block)存储,块大小是可以可以配置参数进行调配的(dfs.bloc
一、
hive
建表优化
分区表：将表中的数据按照指定的规则份文件夹管理。
分桶表：对
hive
表分桶可以将表中记录按分桶键（字段）的哈希值分散进多个文件中，这些小文件称为桶。桶以文件为单位管理数据。分区针对的是数据的存储路径，分桶针对的是数据文件。如果查询的维度是分桶字段，查询的时候先确定数据所在的桶，提升查询效率。
进行join的时候，关联字段就是分桶字段，只有相同的桶之间的数据进行关联，从而提升关联效率。
设置下set
hive
.enforce.bucketing=true
set mapreduce.jo
正则
表达式是一组字符，这些字符形成可以在字符串中搜索的模式。
正则
表达式可用于验证，例如验证信用卡号，用于搜索（即通过复杂的文本匹配）以及将匹配的文本替换为另一个字符串。 它还具有强大的多语言支持-学习一次即可在多种编程语言中
使用
它。
我见过很少有人对
regex
有所了解，并完全忽略了它。 我不怪他们。
regex
的语法很复杂，并且会像那些命令行语言一样带来许多麻烦，只会更糟。 但是，每件事...
