Kubernetes 弹性伸缩全场景解析

2024-05-13 12:58

本文主要是介绍Kubernetes 弹性伸缩全场景解析,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

在本系列的前三篇中,我们介绍了弹性伸缩的整体布局以及HPA的一些原理,HPA的部分还遗留了一些内容需要进行详细解析。在准备这部分内容的期间,会穿插几篇弹性伸缩组件的最佳实践。今天我们要讲解的是
cluster-proportional-autoscaler 。cluster-proportional-autoscaler是根据集群中节点的数目进行Pod副本数水平伸缩的组件,这个组件的产生主要是为了解决集群的核心组件负载弹性的问题。在一个Kubernetes集群中,除了APIServer等耳熟能详的Control Pannel组件,还有很多系统组件是部署在worker上的,例如CoreDNS、Ingress Controller、Istio等等。这些核心组件大部分和我们的应用接入层息息相关,也就是说每当我们的系统处理了一条外部的请求,可能都会调用这些组件。那么这就有可能由于这些组件的负载过大,造成应用的QPS达到瓶颈。那么一个集群该运行多少个核心组件副本呢?
很遗憾,这个问题是没有统一答案的,因为不同的类型的应用、不同的网络模型、不同的调度分布,都有可能会带来不同的挑战。在本篇文章中,我们不谈具体的指标和数据,只探讨解法。在本系列后面的文章中,会为大家深入解析。
大部分的情况下,核心组件的副本数目和集群的节点数目是成正比的,一个集群的节点数目越多,核心组件所需要的副本数就越多。今天我们以CoreDNS为例,通过cluster-proportional-autoscaler,来实现一个动态的、基于节点数目的核心组件动态伸缩。

cluster-proportional-autoscaler的使用

cluster-proportional-autoscaler和传统的Kubernetes组件设计有所不同,我们已经见惯了各种Controller、CRD或者Operator,而cluster-proportional-autoscaler走了另外一条非常简单的路。使用cluster-proportional-autoscaler只需要部署一个Yaml并选择一个伸缩的监听对象以及伸缩策略即可。如果需要有多个组件进行伸缩,那就部署多个Yaml,每个Yaml包含一个cluster-proportional-autoscaler。一个使用cluster-proportional-autoscaler弹性伸缩coredns的模板如下。

apiVersion: apps/v1kind: Deploymentmetadata:  name: dns-autoscaler  namespace: kube-system  labels:    k8s-app: dns-autoscalerspec:  selector:    matchLabels:       k8s-app: dns-autoscaler  template:    metadata:      labels:        k8s-app: dns-autoscaler        spec:      containers:      - name: autoscaler        image: registry.cn-hangzhou.aliyuncs.com/ringtail/cluster-proportional-autoscaler-amd64:v1.3.0        resources:            requests:                cpu: "200m"                memory: "150Mi"        command:          - /cluster-proportional-autoscaler          - --namespace=kube-system          - --configmap=dns-autoscaler          - --target=Deployment/coredns          - --default-params={"linear":{"coresPerReplica":16,"nodesPerReplica":2,"min":1,"max"100,"preventSinglePointFailure"true}}          - --logtostderr=true          - --v=2        serviceAccountName: admin         

cluster-proportional-autoscaler的伸缩策略主要有两种,一种是线性模型,一种是梯度模型。
简单的理解,线性模型就是 y = rate * x + min,设置最小值,以及伸缩的区间,并根据当前节点的数目,通过线性模型计算所需的核心组件数目。在上面的例子中,我们用的就是线性模型,线性模型支持的配置参数如下:

{      "coresPerReplica"2,      "nodesPerReplica"1,      "min"1,      "max"100,      "preventSinglePointFailure"true}

min、max、以及preventSinglePointFailure都比较好理解,coresPerReplica的意思是按照核心数目来计算副本集,nodesPerReplica是按照节点数目来计算副本集。用一个实际的例子进行举例,例如当前集群有两个节点,每个节点的配置是4C8G,那么如果按照coresPerReplica这个指标计算,则需要弹出4*2/2=4个副本。如果按照nodesPerReplica来计算,则需要弹出2*1 = 2个副本。此时cluster-proportional-autoscaler会取两者之间的大的数值,也就是4作为最后的伸缩数目进行扩容。
梯度模型就是分级的机制,每个梯度对应了一个副本,例如:

{      "coresToReplicas":      [        [ 11 ],        [ 643 ],        [ 5125 ],        [ 10247 ],        [ 204810 ],        [ 409615 ]      ],      "nodesToReplicas":      [        [ 11 ],        [ 22 ]      ]    }

这个配置表示存在coresToReplicas和nodesToReplicas两个梯度,其中coresToReplicas的梯度表示,最小为1个副本;CPU核心数目大于3小于64的时候,为2个副本;依次类推。同样nodesToReplicas表示1个节点的时候为1个副本,2个节点的时候为2个副本。

最后

至此,cluster-proportional-autoscaler的使用就给大家讲解完了,建议优先配置CoreDNS的autoscaler,对于负载不高的场景可以考虑节点副本1:2的比例,如果负载比较高,可以1:1的配置进行配置。

 

这篇关于Kubernetes 弹性伸缩全场景解析的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/985766

相关文章

防止Linux rm命令误操作的多场景防护方案与实践

《防止Linuxrm命令误操作的多场景防护方案与实践》在Linux系统中,rm命令是删除文件和目录的高效工具,但一旦误操作,如执行rm-rf/或rm-rf/*,极易导致系统数据灾难,本文针对不同场景... 目录引言理解 rm 命令及误操作风险rm 命令基础常见误操作案例防护方案使用 rm编程 别名及安全删除

深度解析Python中递归下降解析器的原理与实现

《深度解析Python中递归下降解析器的原理与实现》在编译器设计、配置文件处理和数据转换领域,递归下降解析器是最常用且最直观的解析技术,本文将详细介绍递归下降解析器的原理与实现,感兴趣的小伙伴可以跟随... 目录引言:解析器的核心价值一、递归下降解析器基础1.1 核心概念解析1.2 基本架构二、简单算术表达

深度解析Java @Serial 注解及常见错误案例

《深度解析Java@Serial注解及常见错误案例》Java14引入@Serial注解,用于编译时校验序列化成员,替代传统方式解决运行时错误,适用于Serializable类的方法/字段,需注意签... 目录Java @Serial 注解深度解析1. 注解本质2. 核心作用(1) 主要用途(2) 适用位置3

Java MCP 的鉴权深度解析

《JavaMCP的鉴权深度解析》文章介绍JavaMCP鉴权的实现方式,指出客户端可通过queryString、header或env传递鉴权信息,服务器端支持工具单独鉴权、过滤器集中鉴权及启动时鉴权... 目录一、MCP Client 侧(负责传递,比较简单)(1)常见的 mcpServers json 配置

从原理到实战解析Java Stream 的并行流性能优化

《从原理到实战解析JavaStream的并行流性能优化》本文给大家介绍JavaStream的并行流性能优化:从原理到实战的全攻略,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的... 目录一、并行流的核心原理与适用场景二、性能优化的核心策略1. 合理设置并行度:打破默认阈值2. 避免装箱

Maven中生命周期深度解析与实战指南

《Maven中生命周期深度解析与实战指南》这篇文章主要为大家详细介绍了Maven生命周期实战指南,包含核心概念、阶段详解、SpringBoot特化场景及企业级实践建议,希望对大家有一定的帮助... 目录一、Maven 生命周期哲学二、default生命周期核心阶段详解(高频使用)三、clean生命周期核心阶

深入解析C++ 中std::map内存管理

《深入解析C++中std::map内存管理》文章详解C++std::map内存管理,指出clear()仅删除元素可能不释放底层内存,建议用swap()与空map交换以彻底释放,针对指针类型需手动de... 目录1️、基本清空std::map2️、使用 swap 彻底释放内存3️、map 中存储指针类型的对象

Java Scanner类解析与实战教程

《JavaScanner类解析与实战教程》JavaScanner类(java.util包)是文本输入解析工具,支持基本类型和字符串读取,基于Readable接口与正则分隔符实现,适用于控制台、文件输... 目录一、核心设计与工作原理1.底层依赖2.解析机制A.核心逻辑基于分隔符(delimiter)和模式匹

Java+AI驱动实现PDF文件数据提取与解析

《Java+AI驱动实现PDF文件数据提取与解析》本文将和大家分享一套基于AI的体检报告智能评估方案,详细介绍从PDF上传、内容提取到AI分析、数据存储的全流程自动化实现方法,感兴趣的可以了解下... 目录一、核心流程:从上传到评估的完整链路二、第一步:解析 PDF,提取体检报告内容1. 引入依赖2. 封装

深度解析Python yfinance的核心功能和高级用法

《深度解析Pythonyfinance的核心功能和高级用法》yfinance是一个功能强大且易于使用的Python库,用于从YahooFinance获取金融数据,本教程将深入探讨yfinance的核... 目录yfinance 深度解析教程 (python)1. 简介与安装1.1 什么是 yfinance?