epool惊群问题的一个解决方案(利用SO_REUSEPORT)

2023-12-01 23:58

本文主要是介绍epool惊群问题的一个解决方案(利用SO_REUSEPORT),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

    在前段时间公司开发的一个项目中,需要使用多个进程监听同一个端口提高性能,这样的需求需要我们解决惊群问题。

    在早些时候,我们是不能在多个子进程中listen、bind同一个socket端口的。通常的做法会在主进程中对端口进行listen、bind,然后把它同时扔进每个子进程维护的epool池中。
    在这种情况下,当一个客户端请求来到服务端,会导致多个子进程的epool监听同时被唤醒,这就是我们通常所说的epool惊群问题。 在上述背景下,一般有两种情况,虽然不是我们今天文章的主题,也介绍一下。

     无视惊群
    这是lighttpd的解决思路。主要处理流程就是放任每一个子进程的epool监听都被唤醒,然后同时进行accpet()操作。在这种情况下只有一个accept操作会成功(前提是socket被设置为非阻塞),而其他失败的进程则捕获accept抛出的异常。
     避免惊群
    这是nginx的解决思路。具体措施有使用全局互斥锁,每个子进程在epoll_wait()之前先去申请锁,申请到则继续处理,获取不到则等待,并设置了一个负载均衡的算法(当某一个子进程的任务量达到总设置量的7/8时,则不会再尝试去申请锁)来均衡各个进程的任务量。
    这种方案的开发成本会比较高。

     现在来介绍我们的方案,该方案基于Linux kernel 3.9带来了SO_REUSEPORT特性,目的是避免惊群而非无视惊群。
   SO_REUSEPORT特性支持多个进程或者线程绑定到同一端口,提高服务器程序的性能,解决如下问题:允许多个套接字 bind()/listen() 同一个TCP/UDP端口,并且在内核层面实现负载均衡。


    下面我们来看一下相关的代码:
    在子进程中创建socket,并为每个socket增加SO_REUSEPORT属性,bind()/listen()同一个端口

//开辟多进程
for(int f=1;f<=my_config->fork_max;f++)
{if(fork() == 0){//监听主端口int iSvrFd;   struct sockaddr_in sSvrAddr; memset(&sSvrAddr, 0, sizeof(sSvrAddr));   sSvrAddr.sin_family = AF_INET;   sSvrAddr.sin_addr.s_addr = inet_addr("0.0.0.0");     sSvrAddr.sin_port = htons(my_config->socket_port);//创建tcpSocketiSvrFd =socket(AF_INET,SOCK_STREAM,0);//设置为非阻塞int flags = fcntl(iSvrFd,F_GETFL,0); fcntl(iSvrFd,F_SETFL,flags | O_NONBLOCK |SO_REUSEPORT);//绑定监听bind(iSvrFd,(struct sockaddr*)&sSvrAddr,sizeof(sSvrAddr));   listen(iSvrFd,my_config->listen); //创建线程池cthread_pool_manager=boost::shared_ptr(new cthread_pool(my_config));//将指向线程池的智能指针回传进去(必须)cthread_pool_manager->self_ptr=cthread_pool_manager;//初始化线创建程池内的线程cthread_pool_manager->init();//=================================================//初始化epoolerror_report("creating my_epool obj ...\n");boost::shared_ptr my_ep(new my_epool(my_config->epool_events_max));if(!my_ep->flag) error_report(my_ep->error_msg,true);//=================================================//将主端口加入epollmy_ep->add_fd(iSvrFd);//=================================================//监听epollwhile(1){//............}}else{continue;}
}
   现在我们再来看一下程序执行的效果,拿出证据证明上述操作确实避免了惊群问题:
    我们启动一个程序,该程序会创建两个子进程并同时监听9001端口。然后利用telnet向9001进行连接,其中一个子进程唤醒了epool的监听,而另一个没有。
    上面的图已经充分证明,SO_REUSEPORT可以有效地避免惊群问题。我想我们就到这里。

这篇关于epool惊群问题的一个解决方案(利用SO_REUSEPORT)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/443189

相关文章

Vue3绑定props默认值问题

《Vue3绑定props默认值问题》使用Vue3的defineProps配合TypeScript的interface定义props类型,并通过withDefaults设置默认值,使组件能安全访问传入的... 目录前言步骤步骤1:使用 defineProps 定义 Props步骤2:设置默认值总结前言使用T

C#文件复制异常:"未能找到文件"的解决方案与预防措施

《C#文件复制异常:未能找到文件的解决方案与预防措施》在C#开发中,文件操作是基础中的基础,但有时最基础的File.Copy()方法也会抛出令人困惑的异常,当targetFilePath设置为D:2... 目录一个看似简单的文件操作问题问题重现与错误分析错误代码示例错误信息根本原因分析全面解决方案1. 确保

Web服务器-Nginx-高并发问题

《Web服务器-Nginx-高并发问题》Nginx通过事件驱动、I/O多路复用和异步非阻塞技术高效处理高并发,结合动静分离和限流策略,提升性能与稳定性... 目录前言一、架构1. 原生多进程架构2. 事件驱动模型3. IO多路复用4. 异步非阻塞 I/O5. Nginx高并发配置实战二、动静分离1. 职责2

解决升级JDK报错:module java.base does not“opens java.lang.reflect“to unnamed module问题

《解决升级JDK报错:modulejava.basedoesnot“opensjava.lang.reflect“tounnamedmodule问题》SpringBoot启动错误源于Jav... 目录问题描述原因分析解决方案总结问题描述启动sprintboot时报以下错误原因分析编程异js常是由Ja

C# LiteDB处理时间序列数据的高性能解决方案

《C#LiteDB处理时间序列数据的高性能解决方案》LiteDB作为.NET生态下的轻量级嵌入式NoSQL数据库,一直是时间序列处理的优选方案,本文将为大家大家简单介绍一下LiteDB处理时间序列数... 目录为什么选择LiteDB处理时间序列数据第一章:LiteDB时间序列数据模型设计1.1 核心设计原则

MySQL 表空却 ibd 文件过大的问题及解决方法

《MySQL表空却ibd文件过大的问题及解决方法》本文给大家介绍MySQL表空却ibd文件过大的问题及解决方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考... 目录一、问题背景:表空却 “吃满” 磁盘的怪事二、问题复现:一步步编程还原异常场景1. 准备测试源表与数据

解决Nginx启动报错Job for nginx.service failed because the control process exited with error code问题

《解决Nginx启动报错Jobfornginx.servicefailedbecausethecontrolprocessexitedwitherrorcode问题》Nginx启... 目录一、报错如下二、解决原因三、解决方式总结一、报错如下Job for nginx.service failed bec

SysMain服务可以关吗? 解决SysMain服务导致的高CPU使用率问题

《SysMain服务可以关吗?解决SysMain服务导致的高CPU使用率问题》SysMain服务是超级预读取,该服务会记录您打开应用程序的模式,并预先将它们加载到内存中以节省时间,但它可能占用大量... 在使用电脑的过程中,CPU使用率居高不下是许多用户都遇到过的问题,其中名为SysMain的服务往往是罪魁

SpringBoot3匹配Mybatis3的错误与解决方案

《SpringBoot3匹配Mybatis3的错误与解决方案》文章指出SpringBoot3与MyBatis3兼容性问题,因未更新MyBatis-Plus依赖至SpringBoot3专用坐标,导致类冲... 目录SpringBoot3匹配MyBATis3的错误与解决mybatis在SpringBoot3如果

MySQ中出现幻读问题的解决过程

《MySQ中出现幻读问题的解决过程》文章解析MySQLInnoDB通过MVCC与间隙锁机制在可重复读隔离级别下解决幻读,确保事务一致性,同时指出性能影响及乐观锁等替代方案,帮助开发者优化数据库应用... 目录一、幻读的准确定义与核心特征幻读 vs 不可重复读二、mysql隔离级别深度解析各隔离级别的实现差异