关于airflow:airflow-2x-安装记录qbit

airflow 是 DAG(有向无环图) 的工作管理系统，简略的了解就是一个高级版的 crontab。
airflow 解决了 crontab 无奈解决的工作依赖问题。

Ubuntu 20.04
Python-3.8（Anaconda3-2020.11-Linux-x86_64）
MySQL 8.0
apache-airflow 2.0.2

创立账号

sudo useradd airflow -m -s /bin/bash
sudo passwd airflow

切换账号
```
su airflow
```

配置 Anaconda 环境变量

# ~/.bashrc
export PATH=/anaconda/anaconda3/bin:$PATH

配置 pip 国内镜像

pip3 config set global.index-url https://mirrors.aliyun.com/pypi/simple/

装置 airflow

# 全家桶（master）pip3 install "apache-airflow[all]~=2.0.2"
# OR 选择性装置
pip3 install "apache-airflow[async,mysql,rabbitmq,celery,dask]~=2.0.2"

为 airflow 增加 PATH 环境变量

# 在 /home/airflow/.bashrc 文件尾追加以下内容：export PATH=/home/airflow/.local/bin:$PATH

查看 airflow 版本并创立 airflow 的 HOME 目录
```
# 默认 ~/airflow 目录
airflow version
```
设置 Ubuntu 零碎时区
```
timedatectl set-timezone Asia/Shanghai
```
至此，装置结束

创立数据库和用户

CREATE DATABASE airflow CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;

创立用户

CREATE USER 'airflow_user' IDENTIFIED BY 'airflow_pass';
GRANT ALL PRIVILEGES ON airflow.* TO 'airflow_user';

批改 MySQL 连贯（/home/airflow/airflow/airflow.cfg）

[core]
# MySQL 连贯字符串
sql_alchemy_conn = mysql+pymysql://airflow_user:airflow_pass@192.168.x.y/airflow
# 设置编码
sql_engine_collation_for_ids=utf8mb3_general_ci

装置 pymysql
```
pip3 install pymysql
```
初始化数据库表
```
airflow db init
```
查看数据库是否初始化胜利

本文出自 qbit snap

关于airflow:airflow-2x-安装记录qbit

前言

环境与组件

装置步骤

MySQL 配置