【Docker】Airflow Worker 容器部署

2024-03-21 10:20
文章标签 部署 docker 容器 worker airflow

本文主要是介绍【Docker】Airflow Worker 容器部署，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Airflow Worker环境标准软件基于Bitnami airflow-worker 构建。当前版本为2.4.58

你可以通过轻云UC部署工具直接安装部署，也可以手动按如下文档操作，该项目已经全面开源，可以从如下环境获取
配置文件地址: https://gitee.com/qingplus/qingcloud-platform

qinghub自动安装部署配置库

What is Apache Airflow Worker?

Apache Airflow Worker是一种以有向无环图 (DAG) 形式表达和执行工作流程的工具。Airflow Worker 监听并处理包含工作流任务的队列。

快速启动

docker run --name airflow-worker bitnami/airflow-worker:latest

您可以在环境变量部分找到默认凭据和可用的配置选项。

先决条件

要运行此应用程序，您需要Docker Engine >= 1.10.0。建议使用Docker Compose1.6.0版本或更高版本。

如何使用

Airflow Worker 是使用CeleryExecutor. 因此，您将需要其余的 Airflow 组件才能使该图像正常工作。您将需要一个Airflow Web 服务器、一个Airflow Scheduler、一个PostgreSQL 数据库和一个Redis® 服务器。

使用 Docker 命令行

  1. 创建网络

    docker network create airflow-tier

  2. 创建用于 PostgreSQL 持久化的卷并创建 PostgreSQL 容器

    docker volume create --name postgresql_data
docker run -d --name postgresql \-e POSTGRESQL_USERNAME=bn_airflow \-e POSTGRESQL_PASSWORD=bitnami1 \-e POSTGRESQL_DATABASE=bitnami_airflow \--net airflow-tier \--volume postgresql_data:/bitnami/postgresql \bitnami/postgresql:latest

  3. 创建 Redis® 持久性卷并创建 Redis® 容器

    docker volume create --name redis_data
docker run -d --name redis \-e ALLOW_EMPTY_PASSWORD=yes \--net airflow-tier \--volume redis_data:/bitnami \bitnami/redis:latest

  4. 启动 Apache Airflow Worker Web 容器

    docker run -d --name airflow -p 8080:8080 \-e AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho= \-e AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08= \-e AIRFLOW_EXECUTOR=CeleryExecutor \-e AIRFLOW_DATABASE_NAME=bitnami_airflow \-e AIRFLOW_DATABASE_USERNAME=bn_airflow \-e AIRFLOW_DATABASE_PASSWORD=bitnami1 \-e AIRFLOW_LOAD_EXAMPLES=yes \-e AIRFLOW_PASSWORD=bitnami123 \-e AIRFLOW_USERNAME=user \-e AIRFLOW_EMAIL=user@example.com \--net airflow-tier \bitnami/airflow:latest

  5. 启动 Apache Airflow Worker 调度程序容器

    docker run -d --name airflow-scheduler \-e AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho= \-e AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08= \-e AIRFLOW_EXECUTOR=CeleryExecutor \-e AIRFLOW_DATABASE_NAME=bitnami_airflow \-e AIRFLOW_DATABASE_USERNAME=bn_airflow \-e AIRFLOW_DATABASE_PASSWORD=bitnami1 \-e AIRFLOW_LOAD_EXAMPLES=yes \--net airflow-tier \bitnami/airflow-scheduler:latest

  6. 启动 Apache Airflow Worker 工作容器

    docker run -d --name airflow-worker \-e AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho= \-e AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08= \-e AIRFLOW_EXECUTOR=CeleryExecutor \-e AIRFLOW_DATABASE_NAME=bitnami_airflow \-e AIRFLOW_DATABASE_USERNAME=bn_airflow \-e AIRFLOW_DATABASE_PASSWORD=bitnami1 \-e AIRFLOW_QUEUE=new_queue \--net airflow-tier \bitnami/airflow-worker:latest

访问 : http://your-ip:8080

Persisting your application

Bitnami Airflow 容器依赖 PostgreSQL 数据库和 Redis 来保存数据。这意味着 Airflow 不会保留任何东西。为了避免数据丢失，您应该安装卷以持久保存PostgreSQL 数据和Redis® 数据

上面的示例定义了 docker 卷postgresql_data，即 、 和redis_data。只要不删除这些卷，Airflow 应用程序状态就会持续存在。

为了避免无意中删除这些卷，您可以将主机目录安装为数据卷。或者，您可以使用卷插件来托管卷数据。

使用 Docker Compose 将主机目录挂载为数据卷

以下docker-compose.yml模板演示了如何使用主机目录作为数据卷。

version: '2'
services:postgresql:image: 'bitnami/postgresql:latest'environment:- POSTGRESQL_DATABASE=bitnami_airflow- POSTGRESQL_USERNAME=bn_airflow- POSTGRESQL_PASSWORD=bitnami1volumes:- /path/to/postgresql-persistence:/bitnamiredis:image: 'bitnami/redis:latest'environment:- ALLOW_EMPTY_PASSWORD=yesvolumes:- /path/to/redis-persistence:/bitnamiairflow-worker:image: bitnami/airflow-worker:latestenvironment:- AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho=- AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08=- AIRFLOW_EXECUTOR=CeleryExecutor- AIRFLOW_DATABASE_NAME=bitnami_airflow- AIRFLOW_DATABASE_USERNAME=bn_airflow- AIRFLOW_DATABASE_PASSWORD=bitnami1- AIRFLOW_LOAD_EXAMPLES=yesairflow-scheduler:image: bitnami/airflow-scheduler:latestenvironment:- AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho=- AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08=- AIRFLOW_EXECUTOR=CeleryExecutor- AIRFLOW_DATABASE_NAME=bitnami_airflow- AIRFLOW_DATABASE_USERNAME=bn_airflow- AIRFLOW_DATABASE_PASSWORD=bitnami1- AIRFLOW_LOAD_EXAMPLES=yesairflow:image: bitnami/airflow:latestenvironment:- AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho=- AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08=- AIRFLOW_EXECUTOR=CeleryExecutor- AIRFLOW_DATABASE_NAME=bitnami_airflow- AIRFLOW_DATABASE_USERNAME=bn_airflow- AIRFLOW_DATABASE_PASSWORD=bitnami1- AIRFLOW_PASSWORD=bitnami123- AIRFLOW_USERNAME=user- AIRFLOW_EMAIL=user@example.comports:- '8080:8080'
使用 Docker 命令行将主机目录挂载为数据卷

  1. 创建网络（如果不存在）

    docker network create airflow-tier

  2. 使用主机卷创建 PostgreSQL 容器

    docker run -d --name postgresql \-e POSTGRESQL_USERNAME=bn_airflow \-e POSTGRESQL_PASSWORD=bitnami1 \-e POSTGRESQL_DATABASE=bitnami_airflow \--net airflow-tier \--volume /path/to/postgresql-persistence:/bitnami \bitnami/postgresql:latest

  3. 使用主机卷创建 Redis® 容器

    docker run -d --name redis \-e ALLOW_EMPTY_PASSWORD=yes \--net airflow-tier \--volume /path/to/redis-persistence:/bitnami \bitnami/redis:latest

  4. 创建Airflow容器

    docker run -d --name airflow -p 8080:8080 \-e AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho= \-e AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08= \-e AIRFLOW_EXECUTOR=CeleryExecutor \-e AIRFLOW_DATABASE_NAME=bitnami_airflow \-e AIRFLOW_DATABASE_USERNAME=bn_airflow \-e AIRFLOW_DATABASE_PASSWORD=bitnami1 \-e AIRFLOW_LOAD_EXAMPLES=yes \-e AIRFLOW_PASSWORD=bitnami123 \-e AIRFLOW_USERNAME=user \-e AIRFLOW_EMAIL=user@example.com \--net airflow-tier \bitnami/airflow:latest

  5. 创建 Airflow Scheduler 容器

    docker run -d --name airflow-scheduler \-e AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho= \-e AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08= \-e AIRFLOW_EXECUTOR=CeleryExecutor \-e AIRFLOW_DATABASE_NAME=bitnami_airflow \-e AIRFLOW_DATABASE_USERNAME=bn_airflow \-e AIRFLOW_DATABASE_PASSWORD=bitnami1 \-e AIRFLOW_LOAD_EXAMPLES=yes \--net airflow-tier \bitnami/airflow-scheduler:latest

  6. 创建 Airflow Worker 容器

    docker run -d --name airflow-worker \-e AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho= \-e AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08= \-e AIRFLOW_EXECUTOR=CeleryExecutor \-e AIRFLOW_DATABASE_NAME=bitnami_airflow \-e AIRFLOW_DATABASE_USERNAME=bn_airflow \-e AIRFLOW_DATABASE_PASSWORD=bitnami1 \--net airflow-tier \bitnami/airflow-worker:latest

配置

安装额外的 python 模块

该容器支持在启动时安装额外的 python 模块。为此，您可以requirements.txt根据您的特定需求在路径下挂载一个文件/bitnami/python/requirements.txt。

环境变量

可定制的环境变量
NameDescriptionDefault Value
AIRFLOW_EXECUTORAirflow executor.SequentialExecutor
AIRFLOW_EXECUTORAirflow executor.CeleryExecutor
AIRFLOW_FORCE_OVERWRITE_CONF_FILEForce the airflow.cfg config file generation.no
AIRFLOW_WEBSERVER_HOSTAirflow webserver host127.0.0.1
AIRFLOW_WEBSERVER_PORT_NUMBERAirflow webserver port.8080
AIRFLOW_HOSTNAME_CALLABLEMethod to obtain the hostname.socket.gethostname
AIRFLOW_DATABASE_HOSTHostname for PostgreSQL server.postgresql
AIRFLOW_DATABASE_HOSTHostname for PostgreSQL server.127.0.0.1
AIRFLOW_DATABASE_PORT_NUMBERPort used by PostgreSQL server.5432
AIRFLOW_DATABASE_NAMEDatabase name that Airflow will use to connect with the database.bitnami_airflow
AIRFLOW_DATABASE_USERNAMEDatabase user that Airflow will use to connect with the database.bn_airflow
AIRFLOW_DATABASE_USE_SSLSet to yes if the database is using SSL.no
AIRFLOW_REDIS_USE_SSLSet to yes if Redis® uses SSL.no
REDIS_HOSTHostname for Redis® server.redis
REDIS_HOSTHostname for Redis® server.127.0.0.1
REDIS_PORT_NUMBERPort used by Redis® server.6379
REDIS_DATABASEName of the Redis® database.1
只读环境变量
NameDescriptionValue
AIRFLOW_BASE_DIRAirflow installation directory.${BITNAMI_ROOT_DIR}/airflow
AIRFLOW_HOMEAirflow home directory.${AIRFLOW_BASE_DIR}
AIRFLOW_BIN_DIRAirflow directory for binary executables.${AIRFLOW_BASE_DIR}/venv/bin
AIRFLOW_LOGS_DIRAirflow logs directory.${AIRFLOW_BASE_DIR}/logs
AIRFLOW_LOG_FILEAirflow logs directory.${AIRFLOW_LOGS_DIR}/airflow-worker.log
AIRFLOW_CONF_FILEAirflow configuration file.${AIRFLOW_BASE_DIR}/airflow.cfg
AIRFLOW_TMP_DIRAirflow directory temporary files.${AIRFLOW_BASE_DIR}/tmp
AIRFLOW_PID_FILEPath to the Airflow PID file.${AIRFLOW_TMP_DIR}/airflow-worker.pid
AIRFLOW_DAGS_DIRAirflow data to be persisted.${AIRFLOW_BASE_DIR}/dags
AIRFLOW_DAEMON_USERAirflow system user.airflow
AIRFLOW_DAEMON_GROUPAirflow system group.airflow

除了前面的环境变量之外，配置文件中的所有参数都可以使用以下格式的环境变量覆盖：AIRFLOW__{SECTION}__{KEY}. 注意双下划线。

使用 Docker Compose 指定环境变量
version: '2'services:airflow:image: bitnami/airflow:latestenvironment:- AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho=- AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08=- AIRFLOW_EXECUTOR=CeleryExecutor- AIRFLOW_DATABASE_NAME=bitnami_airflow- AIRFLOW_DATABASE_USERNAME=bn_airflow- AIRFLOW_DATABASE_PASSWORD=bitnami1- AIRFLOW_PASSWORD=bitnami123- AIRFLOW_USERNAME=user- AIRFLOW_EMAIL=user@example.com
在 Docker 命令行上指定环境变量
docker run -d --name airflow -p 8080:8080 \-e AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho= \-e AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08= \-e AIRFLOW_EXECUTOR=CeleryExecutor \-e AIRFLOW_DATABASE_NAME=bitnami_airflow \-e AIRFLOW_DATABASE_USERNAME=bn_airflow \-e AIRFLOW_DATABASE_PASSWORD=bitnami1 \-e AIRFLOW_PASSWORD=bitnami123 \-e AIRFLOW_USERNAME=user \-e AIRFLOW_EMAIL=user@example.com \bitnami/airflow:latest

这篇关于【Docker】Airflow Worker 容器部署的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/832419。

相关文章

使用IDEA部署Docker应用指南分享

使用IDEA部署Docker应用指南分享

《使用IDEA部署Docker应用指南分享》本文介绍了使用IDEA部署Docker应用的四步流程：创建Dockerfile、配置IDEADocker连接、设置运行调试环境、构建运行镜像,并强调需准备本... 目录一、创建 dockerfile 配置文件二、配置 IDEA 的 Docker 连接三、配置 Do
阅读更多...
MySQL 主从复制部署及验证(示例详解)

MySQL 主从复制部署及验证(示例详解)

《MySQL主从复制部署及验证(示例详解)》本文介绍MySQL主从复制部署步骤及学校管理数据库创建脚本,包含表结构设计、示例数据插入和查询语句,用于验证主从同步功能,感兴趣的朋友一起看看吧... 目录mysql 主从复制部署指南部署步骤1.环境准备2. 主服务器配置3. 创建复制用户4. 获取主服务器状态5
阅读更多...
SpringBoot结合Docker进行容器化处理指南

SpringBoot结合Docker进行容器化处理指南

《SpringBoot结合Docker进行容器化处理指南》在当今快速发展的软件工程领域,SpringBoot和Docker已经成为现代Java开发者的必备工具,本文将深入讲解如何将一个SpringBo... 目录前言一、为什么选择 Spring Bootjavascript + docker1. 快速部署与
阅读更多...
golang程序打包成脚本部署到Linux系统方式

golang程序打包成脚本部署到Linux系统方式

《golang程序打包成脚本部署到Linux系统方式》Golang程序通过本地编译（设置GOOS为linux生成无后缀二进制文件）,上传至Linux服务器后赋权执行,使用nohup命令实现后台运行,完... 目录本地编译golang程序上传Golang二进制文件到linux服务器总结本地编译Golang程序
阅读更多...
如何在Ubuntu 24.04上部署Zabbix 7.0对服务器进行监控

如何在Ubuntu 24.04上部署Zabbix 7.0对服务器进行监控

《如何在Ubuntu24.04上部署Zabbix7.0对服务器进行监控》在Ubuntu24.04上部署Zabbix7.0监控阿里云ECS服务器,需配置MariaDB数据库、开放10050/1005... 目录软硬件信息部署步骤步骤 1：安装并配置mariadb步骤 2：安装Zabbix 7.0 Server
阅读更多...
使用Docker构建Python Flask程序的详细教程

使用Docker构建Python Flask程序的详细教程

《使用Docker构建PythonFlask程序的详细教程》在当今的软件开发领域,容器化技术正变得越来越流行,而Docker无疑是其中的佼佼者,本文我们就来聊聊如何使用Docker构建一个简单的Py... 目录引言一、准备工作二、创建 Flask 应用程序三、创建 dockerfile四、构建 Docker
阅读更多...
SpringBoot+Docker+Graylog 如何让错误自动报警

SpringBoot+Docker+Graylog 如何让错误自动报警

《SpringBoot+Docker+Graylog如何让错误自动报警》SpringBoot默认使用SLF4J与Logback,支持多日志级别和配置方式,可输出到控制台、文件及远程服务器,集成ELK... 目录01 Spring Boot 默认日志框架解析02 Spring Boot 日志级别详解03 Sp
阅读更多...
Spring IoC 容器的使用详解(最新整理)

Spring IoC 容器的使用详解(最新整理)

《SpringIoC容器的使用详解(最新整理)》文章介绍了Spring框架中的应用分层思想与IoC容器原理,通过分层解耦业务逻辑、数据访问等模块,IoC容器利用@Component注解管理Bean... 目录1. 应用分层2. IoC 的介绍3. IoC 容器的使用3.1. bean 的存储3.2. 方法注
阅读更多...
java实现docker镜像上传到harbor仓库的方式

java实现docker镜像上传到harbor仓库的方式

《java实现docker镜像上传到harbor仓库的方式》：本文主要介绍java实现docker镜像上传到harbor仓库的方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地... 目录1. 前 言2. 编写工具类2.1 引入依赖包2.2 使用当前服务器的docker环境推送镜像2.2
阅读更多...
c++中的set容器介绍及操作大全

c++中的set容器介绍及操作大全

《c++中的set容器介绍及操作大全》：本文主要介绍c++中的set容器介绍及操作大全,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录​​一、核心特性​​️ ​​二、基本操作​​​​1. 初始化与赋值​​​​2. 增删查操作​​​​3. 遍历方
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2