Airflow安装部署及遇到的问题总结_sq0723的博客

相关文章推荐

面冷心慈的牛腩 · 安卓手机电脑同步型号规格 - 京东· 2 年前 ·

淡定的跑步鞋 · 通知中心的安卓推送通知是一个灰色图标· 2 年前 ·

冷静的牛肉面 · Windows系统python3环境tkin ...· 2 年前 ·

Airflow的安装部署操作系统是ubuntu16.04LTS，使用系统自带的python3.5.之前在utuntu14上安装airflow会提示要求python系统版本>=3.4.
一、安装
1、环境准备
1）安装pip，使用python3时要安装pip3，使用命令sudo apt-get install python3-2）检查python依赖，输入python3命令，import ssl 及 import sqlite3
如果报错可以执行sudo apt-get install libssl-dev安装ssl依赖项（ubuntu16中这两个依赖项是默认安装的，ubuntu14中要自己安装）
2、设置airflow的环境变量

echo "export AIRFLOW_HOME=~/airflow" >> ~/.bashrc
source ~/.bashrc
（在ubuntu18中没有设置就安装了，安装好后airflow命令无法识别）
 3、 在线安装 
Pip3 install apache-airflow[all]
因为我使用的python3，安装的是pip3，这里使用pip3命令。注意pip的版本，如果遇到pip版本问题，要做升级，pip3 install -–upgrade pip
 1） 遇到mysqlclient的报错问题 
  sudo apt install libmysqlclient-dev
2） 报pymssql问题 
tar -zxvf pymssql-2.1.1.tar.gz 
cd pymssql-2.1.1/
python3 setup.py build
python3 setup.py install
（安装遇到默写文件目录没有权限，要使用命令sudo python3 setup.py install）
 安装完成后使用命令pip3 list查看是否有已经安装好的pymssql
 3） 报gcc相关的错误，则要安装gcc 
sudo apt install gcc
sudo apt install g++
4） 报系统编译相关的问题，要安装freetds模块 
tar -zxvf freetds-stable.tgz 
cd freetds-0.91/
./configure --prefix=/usr/local/freetds --with-tdsver=8.0 --enable-msdblib --enable-dbmfix --with-gnu-ld --enable-shared --enable-static
sudo make
sudo make install
sudo gedit /etc/ld.so.conf.d/freetds.conf
sudo ldconfig –v
5） 提示缺少sasl.h文件 
sudo apt-get install python3.5-dev
sudo apt-get install libsasl2-dev
6） 提示httplib2的版本不匹配 
sudo apt autoremove python3-httplib2
pip3 install python3-httplib2
sudo pip3 install httplib2
7） 提示setuptools版本不匹配 
sudo apt remove setuptools
sudo easy_install -U setuptools
8） 提示six版本不匹配 
sudo apt autoremove python3-six
sudo pip3 install six
每次解决问题后要重新运行sudo pip3 install apache-airflow[all]进行安装，直到安装成功。
                    Airflow的安装部署操作系统是ubuntu16.04LTS，使用系统自带的python3.5.之前在utuntu14上安装airflow会提示要求python系统版本&gt;=3.4.一、	安装1、	环境准备1）安装pip，使用python3时要安装pip3，使用命令sudo apt-get install python3-2）检查python依赖，输入python3命令，import ...
在安装airflow后，执行airflow的命令时，提示不能导入resolve_types，详细错误说明如下：
$ airflow --help
Traceback (most recent call last):
  File "/usr/local/bin/airflow", line 26, in <module>
    from airflow.bin.cli import CLIFactory
  File "/usr/local/lib/python3.6/site-pa
				1.下载安装virtualbox(Oracle VM VirtualBox)
2.下载ubuntu16镜像https://releases.ubuntu.com/xenial/
3.virtualbox新建一个虚拟环境（选择Linux64）完成后，选择设置-存储-没有盘片-分配光驱-选择下载的ubuntu-16.04.6-desktop-i386.iso
4.安装ubuntu16环境
5.安装pip3:
wget https://bootstrap.pypa.io/pip/3.5/get-pip.py
				1. 安装通过pip安装:xiaosi@yoona:~$ pip install airflow
如果速度比较慢，可以使用下面提供的源进行安装:xiaosi@yoona:~$ pip install -i https://pypi.tuna.tsinghua.edu.cn/simple airflow
如果出现下面提示，表示你的airflow安装成功了:Successfully installed