Linux性能优化实战 35:C10K 和 C1000K 问题

2023-10-30 21:58

本文主要是介绍Linux性能优化实战 35:C10K 和 C1000K 问题,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一、定义:

1. C10K 就是单机同时处理 1 万个请求(并发连接 1 万)的问题

2. C1000K 也就是单机支持处理 100 万个请求(并发连接 100 万)的问题、

 

二、I/O 模型优化

1. 两种 I/O 事件通知的方式:水平触发边缘触发

(1) 水平触发:只要文件描述符可以非阻塞地执行 I/O ,就会触发通知。

                      应用程序持续检查文件描述符的状态,根据状态进行 I/O 操作。

(2) 边缘触发:只有在文件描述符的状态发生改变(也就是 I/O 请求达到)时,才发送一次通知。

                应用程序需要尽可能多地执行 I/O,直到无法继续读写,才可以停止。如果 I/O 没执行完,那么这次通知也就丢失了。

2. I/O 多路复用的方法1:   使用非阻塞 I/O 和水平触发通知,比如使用 select 或者 poll。

(1) select 使用固定长度的位相量,会有最大描述符数量的限制,默认限制是 1024。

     检查套接字状态是用轮询,再加上应用软件使用时的轮询,复杂度是O(n平方)

(2) poll 换成了一个没有固定长度的数组,没有最大描述符数量的限制。

     同样需要对文件描述符列表进行轮询,复杂度是O(n)

(3) 每次调用 select 和 poll 时,还需要把文件描述符的集合,从用户空间传入内核空间,由内核修改后,再传出到用户空间。

       这一来一回的切换,也增加了处理成本。

3. I/O 多路复用的方法2:   使用非阻塞 I/O 和边缘触发通知,比如epoll。

(1) epoll 使用红黑树,在内核中管理文件描述符的集合,不需要应用程序在每次操作时传入、传出这个集合.

(2) epoll 使用事件驱动的机制,只关注有 I/O 事件发生的文件描述符,不需要轮询扫描整个集合。复杂度是O(1)

4. I/O 多路复用的方法3:   使用异步 I/O, 比如glibc 提供的异步 I/O 库

(1) 异步 I/O 允许应用程序同时发起很多 I/O 操作

(2) I/O 完成后,系统会用事件通知的方式,告诉应用程序。应用程序才会去查询 I/O 操作的结果。

5. I/O 多路复用下的工作模型

     主进程 + 多个 worker 子进程,这也是最常用的一种模型。

(1) 主进程执行 bind() + listen() 后,创建多个子进程;

(2) 每个子进程都 accept() 或epoll_wait() ,来处理相同的套接字。

 

三、C10K,C100K问题解决

1. Linux 2.6 中引入的 epoll ,完美解决了 C10K 的问题,现在的高性能网络方案都基于epoll。

2. 从 C10K 到 C100K ,只需要增加系统的物理资源就可以满足

 

四、C1000K解决方案

      本质上还是构建在 epoll 的非阻塞 I/O 模型上。

      除了 I/O 模型之外,还需要从应用程序到 Linux 内核、再到 CPU、内存和网络等各个层次的深度优化。

      特别是需要借助硬件,来卸载那些原来通过软件处理的大量功能。

 

五、C10M解决方案

      要解决这个问题,最重要就是跳过内核协议栈的冗长路径,把网络包直接送到要处理的应用程序那里去。这里有两种常见的机制,DPDK 和 XDP。

(1) DPDK: 是用户态网络的标准。它跳过内核协议栈,直接由用户态进程通过轮询的方式,来处理网络接收。

                    每时每刻都有新的网络包需要处理,轮询的优势就很明显。

(2) XDP:是 Linux 内核提供的一种高性能网络数据路径。它允许网络包,在进入内核协议栈之前,就进行处理,也可以带来更高的性能。

 

这篇关于Linux性能优化实战 35:C10K 和 C1000K 问题的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/310826

相关文章

Java中JSON格式反序列化为Map且保证存取顺序一致的问题

《Java中JSON格式反序列化为Map且保证存取顺序一致的问题》:本文主要介绍Java中JSON格式反序列化为Map且保证存取顺序一致的问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未... 目录背景问题解决方法总结背景做项目涉及两个微服务之间传数据时,需要提供方将Map类型的数据序列化为co

如何解决Druid线程池Cause:java.sql.SQLRecoverableException:IO错误:Socket read timed out的问题

《如何解决Druid线程池Cause:java.sql.SQLRecoverableException:IO错误:Socketreadtimedout的问题》:本文主要介绍解决Druid线程... 目录异常信息触发场景找到版本发布更新的说明从版本更新信息可以看到该默认逻辑已经去除总结异常信息触发场景复

VS配置好Qt环境之后但无法打开ui界面的问题解决

《VS配置好Qt环境之后但无法打开ui界面的问题解决》本文主要介绍了VS配置好Qt环境之后但无法打开ui界面的问题解决,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要... 目UKeLvb录找到Qt安装目录中designer.UKeLvBexe的路径找到vs中的解决方案资源

Linux基础命令@grep、wc、管道符的使用详解

《Linux基础命令@grep、wc、管道符的使用详解》:本文主要介绍Linux基础命令@grep、wc、管道符的使用,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐... 目录grep概念语法作用演示一演示二演示三,带选项 -nwc概念语法作用wc,不带选项-c,统计字节数-

Java Spring 中的监听器Listener详解与实战教程

《JavaSpring中的监听器Listener详解与实战教程》Spring提供了多种监听器机制,可以用于监听应用生命周期、会话生命周期和请求处理过程中的事件,:本文主要介绍JavaSprin... 目录一、监听器的作用1.1 应用生命周期管理1.2 会话管理1.3 请求处理监控二、创建监听器2.1 Ser

JVisualVM之Java性能监控与调优利器详解

《JVisualVM之Java性能监控与调优利器详解》本文将详细介绍JVisualVM的使用方法,并结合实际案例展示如何利用它进行性能调优,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全... 目录1. JVisualVM简介2. JVisualVM的安装与启动2.1 启动JVisualVM2

Apache 高级配置实战之从连接保持到日志分析的完整指南

《Apache高级配置实战之从连接保持到日志分析的完整指南》本文带你从连接保持优化开始,一路走到访问控制和日志管理,最后用AWStats来分析网站数据,对Apache配置日志分析相关知识感兴趣的朋友... 目录Apache 高级配置实战:从连接保持到日志分析的完整指南前言 一、Apache 连接保持 - 性

MySQL启动报错:InnoDB表空间丢失问题及解决方法

《MySQL启动报错:InnoDB表空间丢失问题及解决方法》在启动MySQL时,遇到了InnoDB:Tablespace5975wasnotfound,该错误表明MySQL在启动过程中无法找到指定的s... 目录mysql 启动报错:InnoDB 表空间丢失问题及解决方法错误分析解决方案1. 启用 inno

Linux CPU飙升排查五步法解读

《LinuxCPU飙升排查五步法解读》:本文主要介绍LinuxCPU飙升排查五步法,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录排查思路-五步法1. top命令定位应用进程pid2.php top-Hp[pid]定位应用进程对应的线程tid3. printf"%

Linux下安装Anaconda3全过程

《Linux下安装Anaconda3全过程》:本文主要介绍Linux下安装Anaconda3全过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录简介环境下载安装一、找到下载好的文件名为Anaconda3-2018.12-linux-x86_64的安装包二、或者通