python连接hive,impala

# hive 默认端口为10000，impala端口为21050
from impala.dbapi import connect
cdh_params = {
    'host': '10.xxx.xx.xx',
    'port':10000,
    'database': 'xx',
    'timeout': 60,
    'auth_mechanism':'PLAIN',    # hive  PLAIN
    'user': 'xx',
    'password': 'xx'
cdh_params = {
    'host': '10.xxx.xx.xx',
    'port':21050,
    'database': 'xx',
    'timeout': 60,
    'auth_mechanism':'NOSASL',   # impala  NOSASL
    'user': 'xx',
    'password': 'xx'
cdh_conn = connect(**cdh_params)
cdh_cursor = cdh_conn.cursor()
cdh_cursor.execute('SHOW Tables')
cdh_tabs = cdh_cursor.fetchall()
python连接pg(PostgreSQL )
 
import psycopg2
cdh_params = {
    'host': '10.xx.xx.xx',
    'port':5432,
    'database': 'xx',
    'user': 'xx',
    'password': 'xx'
cdh_conn=psycopg2.connect(**cdh_params)
cdh_cursor = cdh_conn.cursor()
# 获取xx模式下的所有表
cdh_cursor.execute("select tablename from pg_tables where schemaname = 'xxx'")
cdh_tabs = cdh_cursor.fetchall()
python 通过Presto连接hive
 
import jaydebeapi
# 参数1：驱动类
# 参数2：jdbc 
# 参数3：user password
# 参数4：jar包本地路径
bdp_conn = jaydebeapi.connect('com.facebook.presto.jdbc.PrestoDriver',
                          'jdbc:presto://10.xx.xx.xx:4380/hive/dc_src?&SSL=true&SSLKeyStorePath=/Applications/DBeaver.app/Contents/MacOS/keystore.jks&SSLKeyStorePassword=xxxx',
                          {'user': "xxx", 'password': "xxx",},
                          "/Users/shylin/.dbeaver-drivers/maven/maven-central/com.facebook.presto/presto-jdbc-0.216.jar"
bdp_cursor = bdp_conn.cursor()
bdp_cursor.execute('SHOW Tables')
Shylin
                    Python连接hive/impala/pg数据库的方式python连接hive,impala# hive 默认端口为10000，impala端口为21050from impala.dbapi import connectcdh_params = {    'host': '10.xxx.xx.xx',    'port':10000,    'database': 'xx',...
				
在windows系统下安装pyhive
查资料都是用pip进行安装pyhive的依赖，最后安装pyhive，在安装sasl过程中windows系统会报错，一头雾水；
可以用canda进行安装，自动安装依赖
conda install PyHive
验证是否可用：
from pyhive import hive
				
文章目录Win10平台 Python3 使用impyla连接Hive（一）impyla等系列包安装；包安装顺序（二）包安装后连接Hive，修改报错内容（三）连接Hive 取数的python脚本
Win10平台 Python3 使用impyla连接Hive
安装impyla等系列包，使用python语言连接Hive。
（一）impyla等系列包安装；包安装顺序
"""1.安装 pure-sasl 包(本人安装时是 0.6.2版本的)"""
pip install pure-sasl
"""2.安装 thr
				
本人WIN10系统，想用python连接hive，在网上查阅了资料，普通的hiveserver太老旧了，线程调用速度慢且不稳定，找到impyla，决定尝试安装。安装记录如下，有不全面的地方，但希望对以后的安装者有所帮助。
impyla是专门针对python连接impyla的数据库，可以连接后台hive以及kudu，查询速度比之前常用的hiveserver快很多，而且连接便捷。在此记录安装impy...
thrift-sasl-0.3.0
安装sasl时报错：sasl/saslwrapper.h:22:10: fatal error: sasl/sasl.h: No such file or directory
使用sudo apt-get install libsasl2-dev安装libsasl2-dev即可。
				
因需要将impala仅仅作为数据源使用，而python有较好的数据分析函数，所以需要使用python客户端来获取impala中的表数据，这里的测试环境是：
操作系统：win7 (linux下也可行)
python 2.7
大数据环境：centos6.6
CDH版本：CDH5.4.1
impala 2.1.2 port:21050
1、安装Python package
pip install impyla
2、python客户端与impala交互
2.1 连接impala
>>> from impala.dbapi import connect
>>> conn = connect(hos