Apache Kyuubi 讲解与实战操作

2023-12-21 05:44
文章标签 实战 讲解 操作 apache kyuubi

本文主要是介绍Apache Kyuubi 讲解与实战操作，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

文章目录

    • 一、概述
    • 二、Spark Kyuubi 架构
    • 三、Hadoop 基础环境安装
      • 1）hadoop 下载部署包
      • 2）创建网络
      • 3）部署MySQL
      • 4）部署 Hadoop Hive
    • 四、Spark Kyuubi 安装
      • 1）下载 Kyuubi
      • 2）下载 Spark3
      • 2）配置 Kyuubi （Spark3）
      • 3）启动 Kyuubi
      • 4）测试使用
    • 五、Apache Kyuubi HA 部署
      • 1）部署 Zookeeper
      • 3）Kyuubi HA 配置
      • 4）启动服务
      • 5）测试

一、概述

Apache Kyuubi，一个分布式多租户网关，用于在 Lakehouse 上提供无服务器 SQL。Kyuubi 是一个基于 Apache Spark 的开源分布式 SQL 引擎，为用户提供了一个统一的 SQL 查询接口，使其能够以标准 SQL 语法查询和分析各种数据源。以下是对 Kyuubi 的详细解释：

  1. 背景和目的：
    • Kyuubi 的目标是提供一个高度并发、可扩展且支持多租户的 SQL 引擎，以满足大数据分析的需求。
    • 它构建在 Apache Spark 之上，借助 Spark 的分布式计算能力，能够处理大规模数据集。
  2. 核心特性：
    • SQL 兼容性： 支持标准 SQL 查询，使用户能够使用熟悉的 SQL 语法。
    • 分布式查询引擎： 利用 Apache Spark 实现分布式查询和计算。
    • 连接池支持： 提供连接池机制，有效管理和重用连接，提高性能。
    • 多租户支持： 允许多个用户或应用程序共享同一个 Kyuubi 服务器，确保隔离性。
    • 身份验证和授权： 集成了身份验证和授权机制，保障数据访问的安全性。
    • 可扩展的数据源支持： 可以连接多种数据源，包括 Hive、HBase 和其他兼容 Spark 的数据存储。
  3. 架构和工作原理：
    Kyuubi 架构上包含客户端、Kyuubi 服务器和 Spark 集群。客户端通过 JDBC 或 ODBC 驱动连接到 Kyuubi 服务器，然后 Kyuubi 将查询分发到底层的 Spark 集群进行处理。
  4. 部署和配置：
    • Kyuubi 可以通过配置文件进行各种参数的设置，包括连接池、身份验证方式、Spark 应用程序的配置等。详细的配置信息可以参考 Kyuubi 的官方文档。
  5. 使用场景：
    • Kyuubi 适用于需要进行大数据分析的场景，尤其是需要支持多用户并发查询的环境。
    • 通过 SQL 查询接口，用户可以方便地从多种数据源中检索和分析数据。
  6. 社区和维护：
    • Kyuubi 是一个活跃的开源项目，有一个不断发展的社区。用户可以通过 GitHub 等渠道参与讨论、报告问题和提供贡献。

总体而言，Kyuubi 是一个强大的分布式 SQL 引擎，通过整合 Apache Spark 的计算能力，提供了高性能、多租户支持的 SQL 查询服务。在大数据分析领域，Kyuubi 提供了一种灵活、可扩展的解决方案。

在这里插入图片描述
官方文档：

  • https://kyuubi.apache.org/
  • https://kyuubi.readthedocs.io/en/v1.8.0/
  • https://github.com/apache/kyuubi

Kyuubi 软件跟 Livy 一样都是可以作为 Spark 代理网关，但是 livy 只支持 Spark2.x，如果对 Livy 感兴趣的小伙伴可以参考我以下几篇文章：

  • Spark开源REST服务——Apache Livy（Spark 客户端）
  • 【云原生】Apache Livy on k8s 讲解与实战操作

二、Spark Kyuubi 架构

Kyuubi 系统的基本技术架构如下图所示：
在这里插入图片描述

  • 图的中间部分是 Kyuubi 服务端的主要部分，它处理来自图像左边所示的客户端的连接和执行请求。在 Kyuubi 中，这些连接请求被维护为 Kyuubi Session，执行请求被维护为 Kyuubi Operation，并与相应的 session 进行绑定。

  • Kyuubi Session 的创建可以分为两种情况：轻量级和重量级。大多数 session 的创建都是轻量级的，用户无感知。唯一重量级的情况是在用户的共享域中没有实例化或缓存 SparkContext，这种情况通常发生在用户第一次连接或长时间没有连接的时候。这种一次性成本的 session 维护模式可以满足大部分的 ad-hoc 快速响应需求。

  • Kyuubi 以松耦合的方式维护与 SparkConext 的连接。这些 SparkContexts 可以是本服务实例在客户端部署模式下在本地创建的 Spark 程序，也可以是集群部署模式下在 Yarn 或 Kubernetes 集群中创建的。在高可用模式下，这些 SparkConext 也可以由其他机器上的 Kyuubi 实例创建，然后由这个实例共享。

  • 这些 SparkConext 实例本质上是由 Kyuubi 服务托管的远程查询执行引擎程序。这些程序在 Spark SQL 上实现，并对 SQL 语句进行端到端编译、优化和执行，以及与元数据（如 Hive Metastore）和存储（如 HDFS）服务进行必要的交互，最大限度地发挥 Spark SQL 的威力。它们可以自行管理自己的生命周期，自行缓存和回收，并且不受 Kyuubi 服务器上故障转移的影响。

三、Hadoop 基础环境安装

可以选择物理部署，如果只是测试的话，也可以选择容器部署，这里为了快速测试就选择容器部署了。物理部署和容器部署教程如下：

  • 大数据Hadoop原理介绍+安装+实战操作（HDFS+YARN+MapReduce）
  • 大数据Hadoop之——数据仓库Hive
  • 大数据Hadoop之——计算引擎Spark
  • 通过 docker-compose 快速部署 Hive 详细教程

1）hadoop 下载部署包

# 下载部署包
git clone https://gitee.com/hadoop-bigdata/docker-compose-hadoop.git

2）创建网络

docker network create hadoop-network

3）部署MySQL

cd docker-compose-hadoop/mysql
docker-compose -f mysql-compose.yaml up -d
docker-compose -f mysql-compose.yaml ps
#root 密码：123456，以下是登录命令，注意一般在公司不能直接在命令行明文输入密码，要不然容易被安全抓，切记，切记！！！
docker exec -it mysql mysql -uroot -p123456

4）部署 Hadoop Hive

# 部署 Hadoop Hive
cd docker-compose-hadoop/hadoop_hive
docker-compose -f docker-compose.yaml up -d
# 查看
docker-compose -f docker-compose.yaml ps
# hive
docker exec -it hive-hiveserver2 hive -e "show databases";
# hiveserver2
docker exec -it hive-hiveserver2 beeline -u jdbc:hive2://hive-hiveserver2:10000  -n hadoop -e "show databases;"

四、Spark Kyuubi 安装

1）下载 Kyuubi

wget https://dlcdn.apache.org/kyuubi/kyuubi-1.8.0/apache-kyuubi-1.8.0-bin.tgz --no-check-certificatetar zxf apache-kyuubi-1.8.0-bin.tgz

2）下载 Spark3

关于Spark的介绍，可以参考我之前的文章：大数据Hadoop之——计算引擎Spark

 wget https://archive.apache.org/dist/spark/spark-3.3.2/spark-3.3.2-bin-hadoop3.tgz --no-check-certificatetar -xf spark-3.3.2-bin-hadoop3.tgz

修改配置文件：


# 进入spark配置目录
cd spark-3.3.2-bin-hadoop3/conf
# copy 一个模板配置
cp spark-env.sh.template spark-env.sh

在spark-env.sh下加入如下配置

# Hadoop 的配置文件目录
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
# YARN 的配置文件目录
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
# SPARK 的目录
export SPARK_HOME=/opt/apache/spark-3.3.2-bin-hadoop3
# SPARK 执行文件目录
export PATH=$SPARK_HOME/bin:$PATH

在/etc/profile文件中追加如下内容：

export SPARK_HOME=/opt/apache/spark-3.3.2-bin-hadoop3
export PATH=$SPARK_HOME/bin:$PATH

测试：

spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
--driver-memory 1G \
--num-executors 3 \
--executor-memory 1G \
--executor-cores 1 \/opt/apache/spark-3.3.2-bin-hadoop3/examples/jars/spark-examples_2.12-3.3.2.jar 100

在这里插入图片描述

2）配置 Kyuubi （Spark3）

cp conf/kyuubi-env.sh.template conf/kyuubi-env.sh
echo 'export JAVA_HOME=/opt/apache/jdk1.8.0_212' >> conf/kyuubi-env.sh
echo 'export SPARK_HOME=/opt/apache/spark-3.3.2-bin-hadoop3' >> conf/kyuubi-env.shcp conf/kyuubi-defaults.conf.template conf/kyuubi-defaults.conf
# 将kyuubi地址设置为localhost,如果不打开该注释，那么使用localhost是无法连接的，需要填写主机的ip地址
vi conf/kyuubi-defaults.conf
kyuubi.frontend.bind.host   localhost

3）启动 Kyuubi

bin/kyuubi start

在这里插入图片描述

4）测试使用

使用kyuubi自带的beeline客户端工具

bin/beeline -u 'jdbc:hive2://localhost:10009/' -n hadoop

在这里插入图片描述
Apache Kyuubi 不仅仅支持 Spark3 代理也支持 Presto、Flink 等组件的代理。
在这里插入图片描述
在这里插入图片描述

五、Apache Kyuubi HA 部署

目前Kyuubi支持负载均衡，使整个系统高可用。负载均衡旨在优化所有 Kyuubi 服务单元的使用，最大化吞吐量，最小化响应时间，并避免单个单元过载。使用具有负载平衡功能的多个 Kyuubi 服务单元而不是单个单元可以通过冗余来提高可靠性和可用性。

Kyuubi 通过使用Apache ZooKeeper来利用组中的冗余服务实例，在一个或多个组件发生故障时提供连续服务。
在这里插入图片描述

1）部署 Zookeeper

关于 Zookeeper 的介绍与部署可以参考我以下几篇文章：

  • 分布式开源协调服务——Zookeeper
  • 【云原生】zookeeper + kafka on k8s 环境部署
  • 【中间件】通过 docker-compose 快速部署 Zookeeper 保姆级教程

这里为了快速测试就选择docker-compose部署Zookeeper了。

3）Kyuubi HA 配置

vim /opt/kyuubi/conf/kyuubi-defaults.confkyuubi.ha.addresses 192.168.182.110:31181,192.168.182.110:32181,192.168.182.110:33181
kyuubi.ha.namespace kyuubi

4）启动服务

bin/kyuubi restart

5）测试

bin/beeline -u 'jdbc:hive2://192.168.182.110:31181/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=kyuubi' -n hadoop

在这里插入图片描述

Apache Kyuubi 讲解与实战操作就先到这里了，更多API接口介绍与使用可以参考官方文档：https://kyuubi.readthedocs.io/en/master/client/index.html；有任何疑问也可关注我公众号：大数据与云原生技术分享，进行技术交流，如本篇文章对您有所帮助，麻烦帮忙一键三连（点赞、转发、收藏）~

这篇关于Apache Kyuubi 讲解与实战操作的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/518822。

相关文章

Mysql数据库中数据的操作CRUD详解

Mysql数据库中数据的操作CRUD详解

《Mysql数据库中数据的操作CRUD详解》：本文主要介绍Mysql数据库中数据的操作（CRUD）,详细描述对Mysql数据库中数据的操作（CRUD）,包括插入、修改、删除数据,还有查询数据,包括... 目录一、插入数据（insert）1.插入数据的语法2.注意事项二、修改数据（update）1.语法2.有
阅读更多...
Nginx使用Keepalived部署web集群（高可用高性能负载均衡）实战案例

Nginx使用Keepalived部署web集群（高可用高性能负载均衡）实战案例

《Nginx使用Keepalived部署web集群（高可用高性能负载均衡）实战案例》本文介绍Nginx+Keepalived实现Web集群高可用负载均衡的部署与测试,涵盖架构设计、环境配置、健康检查、... 目录前言一、架构设计二、环境准备三、案例部署配置 前端 Keepalived配置 前端 Nginx
阅读更多...
Python日期和时间完全指南与实战

Python日期和时间完全指南与实战

《Python日期和时间完全指南与实战》在软件开发领域,‌日期时间处理‌是贯穿系统设计全生命周期的重要基础能力,本文将深入解析Python日期时间的‌七大核心模块‌,通过‌企业级代码案例‌揭示最佳实践... 目录一、背景与核心价值二、核心模块详解与实战2.1 datetime模块四剑客2.2 时区处理黄金法
阅读更多...
CSS引入方式和选择符的讲解和运用小结

CSS引入方式和选择符的讲解和运用小结

《CSS引入方式和选择符的讲解和运用小结》CSS即层叠样式表，是一种用于描述网页文档（如HTML或XML）外观和格式的样式表语言,它主要用于将网页内容的呈现（外观）和结构（内容）分离，从而实现... 目录一、前言二、css 是什么三、CSS 引入方式1、行内样式2、内部样式表3、链入外部样式表四、CSS 选
阅读更多...
Python文件操作与IO流的使用方式

Python文件操作与IO流的使用方式

《Python文件操作与IO流的使用方式》：本文主要介绍Python文件操作与IO流的使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、python文件操作基础1. 打开文件2. 关闭文件二、文件读写操作1.www.chinasem.cn 读取文件2. 写
阅读更多...
SpringBoot实现接口数据加解密的三种实战方案

SpringBoot实现接口数据加解密的三种实战方案

《SpringBoot实现接口数据加解密的三种实战方案》在金融支付、用户隐私信息传输等场景中,接口数据若以明文传输,极易被中间人攻击窃取,SpringBoot提供了多种优雅的加解密实现方案,本文将从原... 目录一、为什么需要接口数据加解密？二、核心加解密算法选择1. 对称加密（AES）2. 非对称加密（R
阅读更多...
Spring Boot集成Logback终极指南之从基础到高级配置实战指南

Spring Boot集成Logback终极指南之从基础到高级配置实战指南

《SpringBoot集成Logback终极指南之从基础到高级配置实战指南》Logback是一个可靠、通用且快速的Java日志框架,作为Log4j的继承者,由Log4j创始人设计,：本文主要介绍... 目录一、Logback简介与Spring Boot集成基础1.1 Logback是什么？1.2 Sprin
阅读更多...
Java实现MinIO文件上传的加解密操作

Java实现MinIO文件上传的加解密操作

《Java实现MinIO文件上传的加解密操作》在云存储场景中,数据安全是核心需求之一,MinIO作为高性能对象存储服务,支持通过客户端加密（CSE）在数据上传前完成加密,下面我们来看看如何通过Java... 目录一、背景与需求二、技术选型与原理1. 加密方案对比2. 核心算法选择三、完整代码实现1. 加密上
阅读更多...
Linux高并发场景下的网络参数调优实战指南

Linux高并发场景下的网络参数调优实战指南

《Linux高并发场景下的网络参数调优实战指南》在高并发网络服务场景中,Linux内核的默认网络参数往往无法满足需求,导致性能瓶颈、连接超时甚至服务崩溃,本文基于真实案例分析,从参数解读、问题诊断到优... 目录一、问题背景：当并发连接遇上性能瓶颈1.1 案例环境1.2 初始参数分析二、深度诊断：连接状态与
阅读更多...
C#实现高性能Excel百万数据导出优化实战指南

C#实现高性能Excel百万数据导出优化实战指南

《C#实现高性能Excel百万数据导出优化实战指南》在日常工作中,Excel数据导出是一个常见的需求,然而,当数据量较大时,性能和内存问题往往会成为限制导出效率的瓶颈,下面我们看看C#如何结合EPPl... 目录一、技术方案核心对比二、各方案选型建议三、性能对比数据四、核心代码实现1. MiniExcel
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2