AWS云服务器EC2实例实现ByConity快速部署

2023-11-20 14:36
文章标签 实现 部署 服务器 快速 实例 aws ec2 byconity

本文主要是介绍AWS云服务器EC2实例实现ByConity快速部署，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

1. 前言

亚马逊是全球最大的在线零售商和云计算服务提供商。AWS云服务器在全球范围内都备受推崇，被众多业内人士誉为“云计算服务的行业标准”。在国内，亚马逊AWS也以其卓越的性能和服务满足了众多用户的需求，拥有着较高的市场份额和竞争力。同时也是出海用户的首选云服务。

作为一款主流的云服务提供商，亚马逊云服务器EC2在系统安全性和稳定性上表现十分出色。

1700459699926

ByConity 是字节跳动面向现代数据栈的一款开源数仓系统，应用了大量数据库成熟技术，如列存引擎，MPP 执行，智能查询优化，向量化执行，Codegen，indexing，数据压缩，适合用于 Online Analytical Processing(OLAP) 场景和轻载数仓的场景，包括但不限于交互式分析、实时 APP 监控、流数据处理和分析等。

下面我们通过详细图文内容介绍如何在亚马逊EC2云服务器上上部署并运行ByConity

2. 购买并使用亚马逊EC2云服务器示例

2.1 EC2实例购买教程

因为AWS为国外云服务提供商，和目前国内主流的云服务提供商的购买流程略有差别，所以在此一并介绍如何购买并使用AWS云服务器EC2实例

进入AWS官网: https://aws.amazon.com/cn/

image-20231112002011948

点击左上角登录，进入控制台，然后在控制台首页访问EC2

image-20231112003243548

在EC2控制台可以看到我们已经购买的云服务器和一些相关信息

image-20231112003450911

若没有购买相关Ec2实例，若用户为初次使用亚马逊云服务相关资源，则可以免费获得一年的Ec2实例资源使用权限。

下面将展示如何领取或者购买EC2实例资源

点击启动实例

在启动之前需要选择服务器所在区域，区域选择在控制台左上角

image-20231112003653970

关于镜像选择，大家可以根据自己的实际需求选择合适的镜像，这里我选择的是Redhat，然后选择符合买条件的免费套餐，这样我们就可以免费获取相关资源，当然，免费资源的规格类型为1c-1g，如果需要更高规格服务器，则需要付费购买。

image-20231112003937885

选择完操作系统后，我们需要选择密钥对来进行后续的登录操作，若没有密钥对，则需要手动创建新的密钥对

image-20231112004146744

创建好新的秘钥对后需要将其pem文件下载到本地，方便后续进行远程ssh登录。

AWS的云服务器EC2的创建阶段和国内其他云服务器厂商的购买流程配置上也有些区别，比如，无法在初始化时直接通过root密码登录，需要通过密钥对登录后设置root密码

在网络配置阶段，选择启用公网IP，同时根据自己的业务需求设置不同的安全组

image-20231112004724781

存储则需要根据业务需求进行选择，我这里选择40GB（后续可以更改）

image-20231112004915284

全部填写完后，选择启动实例

image-20231112004940180

2.2 EC2实例初始化配置

在购买完EC2实例后，我们返回控制台进行查看，可以看到刚才购买的云服务器正在初始化，等待大约5分钟后会初始化完成

image-20231112005220142

点击进去查看详情

可以看到此云服务器的详细配置信息

image-20231112005403219

在登录之前，需要确认安全组已经放通相关端口

2.3 远程登录EC2服务器实例

每个人的喜好不太一样，常用的shell登录终端有很多，这里我使用的是Finalshell

Finalshell是一款强大的终端工具，它集成了SSH客户端、X服务器和Unix命令集工具箱。在Windows操作系统下，MobaXterm可以帮助用户轻松地连接并操作Linux服务器。

Finalshell具有以下特点：

  1. 集成了SSH客户端：通过内嵌SSH客户端，可以快速建立与Linux服务器的安全连接，实现远程登录和管理。
  2. 支持X服务器：集成了X服务器，可以在Windows上运行Unix/Linux环境，并支持图形界面应用程序。
  3. 提供Unix命令集：集成了Unix命令集（GNU/Cygwin），用户可以在Windows上运行大多数Linux命令，实现高效的终端操作。
  4. 多终端视窗：支持开启多个终端视窗，可以同时连接多个Linux服务器，并进行灵活的终端管理。
  5. 可扩展性强：可以通过集成插件来扩展功能，例如运行Gcc、Perl、Curl、Tcl/Tk/Expect等程序。
  6. 免费开源：分为免费开源版和收费专业版，用户可以免费使用开源版，并根据需求选择专业版以获得更多的功能和更好的技术支持。

新建ssh登录，填写EC2实例的ip和用户名并通过刚才设置的密钥对进行登录

image-20231112010418783

登录成功

3. 配置部署

3.1 资源准备

硬件规格中，Worker 和 Server 的本地磁盘主要用于存储写入时的临时数据和日志文件，同时 Worker 的本地磁盘中还会存储数据的 Cache，因此磁盘的大小需要根据配置的 DiskCache 大小及写入的数据量来确定。

我的部署见下图，为满足各个组件性能要求

组件名称CPU内存硬盘网络实例数
TSO11G5G千兆网卡1
Server832G100G千兆网卡1
Worker416G110G千兆网卡1
DaemonManager12G40G千兆网卡1
ResourceManager12G40G千兆网卡1

整体云资源部署在亚马逊云服务器

按照上述配置要求和 目录2的操购买不同规格的云服务

3.2 服务器基础配置

3.2.1 在本地环境中安装和设置 kubectl

kubectl是Kubernetes命令行工具，可以通过命令行界面或脚本与Kubernetes集群进行通信，并执行各种操作，包括：

  1. 部署和管理应用程序：kubectl可以使用YAML或JSON文件定义和创建Kubernetes资源对象，例如部署、服务、Pod、副本集、配置映射等。可以使用kubectl创建、更新、删除和查看这些资源，以及监控其状态和日志。
  2. 扩展和管理集群：kubectl可以通过命令行管理Kubernetes集群的各个组件，例如节点、命名空间、存储卷、服务账户等。可以使用kubectl扩展集群的规模、添加或删除节点，以及执行与集群管理相关的操作。
  3. 调试和故障排除：kubectl提供了各种命令和选项，用于诊断和调试Kubernetes集群中的问题。可以查看Pod的日志、执行进入容器的命令、获取集群事件等。
  4. 资源监控和调整：kubectl可以用于查看Kubernetes集群和资源的状态、监控资源使用情况、扩展或缩减资源的副本数量等。

kubectl提供了强大的功能和灵活性，能够有效地管理和操作Kubernetes集群。

用以下命令下载最新发行版：

curl -LO "https://dl.k8s.io/release/$(curl -L -s https://dl.k8s.io/release/stable.txt)/bin/linux/amd64/kubectl"

下载 kubectl 校验和文件：

curl -LO "https://dl.k8s.io/$(curl -L -s https://dl.k8s.io/release/stable.txt)/bin/linux/amd64/kubectl.sha256"

基于校验和文件，验证 kubectl 的可执行文件：

echo "$(cat kubectl.sha256)  kubectl" | sha256sum --check

验证通过时，输出为：

kubectl: OK

验证失败时，sha256 将以非零值退出，并打印如下输出：

kubectl: FAILED
sha256sum: WARNING: 1 computed checksum did NOT match

安装 kubectl

sudo install -o root -g root -m 0755 kubectl /usr/local/bin/kubectl

执行测试，以保障安装的版本是最新的：

kubectl version --client

为了让 kubectl 能发现并访问 Kubernetes 集群，你需要一个 kubeconfig 文件， 该文件在 kube-up.sh 创建集群时，或成功部署一个 Minikube 集群时，均会自动生成。 通常，kubectl 的配置信息存放于文件 ~/.kube/config 中。

通过获取集群状态的方法，检查是否已恰当地配置了 kubectl：

kubectl cluster-info

如果返回一个 URL，则意味着 kubectl 成功地访问到集群。

3.2.2 在本地环境中安装 helm

Helm使用称为chart的包装格式。chart是描述相关的一组Kubernetes资源的文件集合。单个chart可能用于部署简单的东西，比如memcached pod，或者一些复杂的东西，比如完整的具有HTTP服务，数据库，缓存等的Web应用程序堆栈。

chart通过创建为特定目录树的文件，将它们打包到版本化的压缩包，然后进行部署。

Helm有安装脚本可以自动拉取最新的Helm版本并在 本地安装

curl -fsSL -o get_helm.sh https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3
chmod 700 get_helm.sh./get_helm.sh

如果想直接执行安装，运行

curl https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3 | bash
3.2.3 安装kind和Docker
3.2.3.1 kind安装

Kind，即Kubernetes-in-docker的简写，是一个使用docker容器作为“节点”实现部署K8S集群环境的工具。Kind工具主要用于Kubernetes本身的测试，目前很多需要部署到Kubernetes环境测试的项目在CI流程中，都会选择用Kind快速创建一个Kubernetes环境，然后运行相关的测试用例，之后删除即可。

输入下面命令安装kind

curl -Lo ./kind https://kind.sigs.k8s.io/dl/v0.9.0/kind-linux-amd64
chmod +x ./kind
mv ./kind /usr/local/bin/kind
3.2.3.2 Docker安装

安装docker-ce

yum clean all yum makecache fastyum -y install docker-ce

通过systemctl启动服务

systemctl start docker

4 .本地 Kubernetes 集群

4.1 使用 Kind 配置本地 Kubernetes 集群

将代码保存在本地

git clone git@github.com:ByConity/byconity-deploy.git
cd byconity-deploy

image-20230925011431614

创建一个 1-control-plane、3-worker 的 Kubernetes 集群。.

kind create cluster --config examples/kind/kind-byconity.yaml

image-20230925011741975

测试以确保本地 kind 集群已准备就绪：

kubectl cluster-info

image-20230925011803850

4.2 初始化 Byconity 演示集群

# Install with fdb CRD first
helm upgrade --install --create-namespace --namespace byconity -f ./examples/kind/values-kind.yaml byconity ./chart/byconity --set fdb.enabled=false# Install with fdb cluster
helm upgrade --install --create-namespace --namespace byconity -f ./examples/kind/values-kind.yaml byconity ./chart/byconity

image-20230925011935150

等到所有 Pod 准备就绪。

kubectl -n byconity get po

image-20230925012009282

进行测试

kubectl -n byconity exec -it sts/byconity-server -- bash
root@byconity-server-0:/# clickhouse client172.16.1.1 :)

执行sql

CREATE DATABASE IF NOT EXISTS test;
USE test;
DROP TABLE IF EXISTS test.lc;
CREATE TABLE test.lc (b LowCardinality(String)) engine=CnchMergeTree ORDER BY b;
INSERT INTO test.lc SELECT '0123456789' FROM numbers(100000000);
SELECT count(), b FROM test.lc group by b;
DROP TABLE IF EXISTS test.lc;
DROP DATABASE test;

5.总结

ByConity是基于ClickHouse构建的一个为现代云架构变化设计的数据仓库。将其部署在亚马逊EC2云服务器上能够得到稳定流畅的运行，它采用云原生架构设计，满足数据仓库用户对灵活扩展、读写分离、资源隔离和强数据一致性的需求。同时，它提供了卓越的查询和写入性能。采用大量成熟的OLAP技术，如列存储引擎、MPP执行、智能查询优化、向量化执行、Codegen、索引和数据压缩;同时也为云场景和存储计算分离架构做了特殊技术创新。

这篇关于AWS云服务器EC2实例实现ByConity快速部署的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/395316。

相关文章

基于 HTML5 Canvas 实现图片旋转与下载功能(完整代码展示)

基于 HTML5 Canvas 实现图片旋转与下载功能(完整代码展示)

《基于HTML5Canvas实现图片旋转与下载功能(完整代码展示)》本文将深入剖析一段基于HTML5Canvas的代码，该代码实现了图片的旋转（90度和180度）以及旋转后图片的下载... 目录一、引言二、html 结构分析三、css 样式分析四、JavaScript 功能实现一、引言在 Web 开发中，
阅读更多...
SpringBoot中使用Flux实现流式返回的方法小结

SpringBoot中使用Flux实现流式返回的方法小结

《SpringBoot中使用Flux实现流式返回的方法小结》文章介绍流式返回（StreamingResponse）在SpringBoot中通过Flux实现,优势包括提升用户体验、降低内存消耗、支持长连... 目录背景流式返回的核心概念与优势1. 提升用户体验2. 降低内存消耗3. 支持长连接与实时通信在Sp
阅读更多...
Conda虚拟环境的复制和迁移的四种方法实现

Conda虚拟环境的复制和迁移的四种方法实现

《Conda虚拟环境的复制和迁移的四种方法实现》本文主要介绍了Conda虚拟环境的复制和迁移的四种方法实现,包括requirements.txt,environment.yml,conda-pack,... 目录在本机复制Conda虚拟环境相同操作系统之间复制环境方法一：requirements.txt方法
阅读更多...
Spring Boot 实现 IP 限流的原理、实践与利弊解析

Spring Boot 实现 IP 限流的原理、实践与利弊解析

《SpringBoot实现IP限流的原理、实践与利弊解析》在SpringBoot中实现IP限流是一种简单而有效的方式来保障系统的稳定性和可用性,本文给大家介绍SpringBoot实现IP限... 目录一、引言二、IP 限流原理2.1 令牌桶算法2.2 漏桶算法三、使用场景3.1 防止恶意攻击3.2 控制资源
阅读更多...
springboot下载接口限速功能实现

springboot下载接口限速功能实现

《springboot下载接口限速功能实现》通过Redis统计并发数动态调整每个用户带宽,核心逻辑为每秒读取并发送限定数据量,防止单用户占用过多资源,确保整体下载均衡且高效,本文给大家介绍spring... 目录 一、整体目标 二、涉及的主要类/方法✅ 三、核心流程图解（简化） 四、关键代码详解1️⃣ 设置
阅读更多...
Nginx 配置跨域的实现及常见问题解决

Nginx 配置跨域的实现及常见问题解决

《Nginx配置跨域的实现及常见问题解决》本文主要介绍了Nginx配置跨域的实现及常见问题解决,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来... 目录1. 跨域1.1 同源策略1.2 跨域资源共享（CORS）2. Nginx 配置跨域的场景2.1
阅读更多...
Python中提取文件名扩展名的多种方法实现

Python中提取文件名扩展名的多种方法实现

《Python中提取文件名扩展名的多种方法实现》在Python编程中,经常会遇到需要从文件名中提取扩展名的场景,Python提供了多种方法来实现这一功能,不同方法适用于不同的场景和需求,包括os.pa... 目录技术背景实现步骤方法一：使用os.path.splitext方法二：使用pathlib模块方法三
阅读更多...
CSS实现元素撑满剩余空间的五种方法

CSS实现元素撑满剩余空间的五种方法

《CSS实现元素撑满剩余空间的五种方法》在日常开发中，我们经常需要让某个元素占据容器的剩余空间，本文将介绍5种不同的方法来实现这个需求，并分析各种方法的优缺点，感兴趣的朋友一起看看吧... css实现元素撑满剩余空间的5种方法 在日常开发中，我们经常需要让某个元素占据容器的剩余空间。这是一个常见的布局需求
阅读更多...
HTML5 getUserMedia API网页录音实现指南示例小结

HTML5 getUserMedia API网页录音实现指南示例小结

《HTML5getUserMediaAPI网页录音实现指南示例小结》本教程将指导你如何利用这一API，结合WebAudioAPI，实现网页录音功能,从获取音频流到处理和保存录音，整个过程将逐步... 目录1. html5 getUserMedia API简介1.1 API概念与历史1.2 功能与优势1.3
阅读更多...
Java实现删除文件中的指定内容

Java实现删除文件中的指定内容

《Java实现删除文件中的指定内容》在日常开发中,经常需要对文本文件进行批量处理,其中,删除文件中指定内容是最常见的需求之一,下面我们就来看看如何使用java实现删除文件中的指定内容吧... 目录1. 项目背景详细介绍2. 项目需求详细介绍2.1 功能需求2.2 非功能需求3. 相关技术详细介绍3.1 Ja
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2