epool惊群问题的一个解决方案(利用SO_REUSEPORT)

2023-12-01 23:58

本文主要是介绍epool惊群问题的一个解决方案(利用SO_REUSEPORT),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

    在前段时间公司开发的一个项目中,需要使用多个进程监听同一个端口提高性能,这样的需求需要我们解决惊群问题。

    在早些时候,我们是不能在多个子进程中listen、bind同一个socket端口的。通常的做法会在主进程中对端口进行listen、bind,然后把它同时扔进每个子进程维护的epool池中。
    在这种情况下,当一个客户端请求来到服务端,会导致多个子进程的epool监听同时被唤醒,这就是我们通常所说的epool惊群问题。 在上述背景下,一般有两种情况,虽然不是我们今天文章的主题,也介绍一下。

     无视惊群
    这是lighttpd的解决思路。主要处理流程就是放任每一个子进程的epool监听都被唤醒,然后同时进行accpet()操作。在这种情况下只有一个accept操作会成功(前提是socket被设置为非阻塞),而其他失败的进程则捕获accept抛出的异常。
     避免惊群
    这是nginx的解决思路。具体措施有使用全局互斥锁,每个子进程在epoll_wait()之前先去申请锁,申请到则继续处理,获取不到则等待,并设置了一个负载均衡的算法(当某一个子进程的任务量达到总设置量的7/8时,则不会再尝试去申请锁)来均衡各个进程的任务量。
    这种方案的开发成本会比较高。

     现在来介绍我们的方案,该方案基于Linux kernel 3.9带来了SO_REUSEPORT特性,目的是避免惊群而非无视惊群。
   SO_REUSEPORT特性支持多个进程或者线程绑定到同一端口,提高服务器程序的性能,解决如下问题:允许多个套接字 bind()/listen() 同一个TCP/UDP端口,并且在内核层面实现负载均衡。


    下面我们来看一下相关的代码:
    在子进程中创建socket,并为每个socket增加SO_REUSEPORT属性,bind()/listen()同一个端口

//开辟多进程
for(int f=1;f<=my_config->fork_max;f++)
{if(fork() == 0){//监听主端口int iSvrFd;   struct sockaddr_in sSvrAddr; memset(&sSvrAddr, 0, sizeof(sSvrAddr));   sSvrAddr.sin_family = AF_INET;   sSvrAddr.sin_addr.s_addr = inet_addr("0.0.0.0");     sSvrAddr.sin_port = htons(my_config->socket_port);//创建tcpSocketiSvrFd =socket(AF_INET,SOCK_STREAM,0);//设置为非阻塞int flags = fcntl(iSvrFd,F_GETFL,0); fcntl(iSvrFd,F_SETFL,flags | O_NONBLOCK |SO_REUSEPORT);//绑定监听bind(iSvrFd,(struct sockaddr*)&sSvrAddr,sizeof(sSvrAddr));   listen(iSvrFd,my_config->listen); //创建线程池cthread_pool_manager=boost::shared_ptr(new cthread_pool(my_config));//将指向线程池的智能指针回传进去(必须)cthread_pool_manager->self_ptr=cthread_pool_manager;//初始化线创建程池内的线程cthread_pool_manager->init();//=================================================//初始化epoolerror_report("creating my_epool obj ...\n");boost::shared_ptr my_ep(new my_epool(my_config->epool_events_max));if(!my_ep->flag) error_report(my_ep->error_msg,true);//=================================================//将主端口加入epollmy_ep->add_fd(iSvrFd);//=================================================//监听epollwhile(1){//............}}else{continue;}
}
   现在我们再来看一下程序执行的效果,拿出证据证明上述操作确实避免了惊群问题:
    我们启动一个程序,该程序会创建两个子进程并同时监听9001端口。然后利用telnet向9001进行连接,其中一个子进程唤醒了epool的监听,而另一个没有。
    上面的图已经充分证明,SO_REUSEPORT可以有效地避免惊群问题。我想我们就到这里。

这篇关于epool惊群问题的一个解决方案(利用SO_REUSEPORT)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/443189

相关文章

JAVA Calendar设置上个月时,日期不存在或错误提示问题及解决

《JAVACalendar设置上个月时,日期不存在或错误提示问题及解决》在使用Java的Calendar类设置上个月的日期时,如果遇到不存在的日期(如4月31日),默认会自动调整到下个月的相应日期(... 目录Java Calendar设置上个月时,日期不存在或错误提示java进行日期计算时如果出现不存在的

Mybatis对MySQL if 函数的不支持问题解读

《Mybatis对MySQLif函数的不支持问题解读》接手项目后,为了实现多租户功能,引入了Mybatis-plus,发现之前运行正常的SQL语句报错,原因是Mybatis不支持MySQL的if函... 目录MyBATis对mysql if 函数的不支持问题描述经过查询网上搜索资料找到原因解决方案总结Myb

Nginx错误拦截转发 error_page的问题解决

《Nginx错误拦截转发error_page的问题解决》Nginx通过配置错误页面和请求处理机制,可以在请求失败时展示自定义错误页面,提升用户体验,下面就来介绍一下Nginx错误拦截转发error_... 目录1. 准备自定义错误页面2. 配置 Nginx 错误页面基础配置示例:3. 关键配置说明4. 生效

Springboot3统一返回类设计全过程(从问题到实现)

《Springboot3统一返回类设计全过程(从问题到实现)》文章介绍了如何在SpringBoot3中设计一个统一返回类,以实现前后端接口返回格式的一致性,该类包含状态码、描述信息、业务数据和时间戳,... 目录Spring Boot 3 统一返回类设计:从问题到实现一、核心需求:统一返回类要解决什么问题?

maven异常Invalid bound statement(not found)的问题解决

《maven异常Invalidboundstatement(notfound)的问题解决》本文详细介绍了Maven项目中常见的Invalidboundstatement异常及其解决方案,文中通过... 目录Maven异常:Invalid bound statement (not found) 详解问题描述可

idea粘贴空格时显示NBSP的问题及解决方案

《idea粘贴空格时显示NBSP的问题及解决方案》在IDEA中粘贴代码时出现大量空格占位符NBSP,可以通过取消勾选AdvancedSettings中的相应选项来解决... 目录1、背景介绍2、解决办法3、处理完成总结1、背景介绍python在idehttp://www.chinasem.cna粘贴代码,出

SpringBoot整合Kafka启动失败的常见错误问题总结(推荐)

《SpringBoot整合Kafka启动失败的常见错误问题总结(推荐)》本文总结了SpringBoot项目整合Kafka启动失败的常见错误,包括Kafka服务器连接问题、序列化配置错误、依赖配置问题、... 目录一、Kafka服务器连接问题1. Kafka服务器无法连接2. 开发环境与生产环境网络不通二、序

SpringSecurity中的跨域问题处理方案

《SpringSecurity中的跨域问题处理方案》本文介绍了跨域资源共享(CORS)技术在JavaEE开发中的应用,详细讲解了CORS的工作原理,包括简单请求和非简单请求的处理方式,本文结合实例代码... 目录1.什么是CORS2.简单请求3.非简单请求4.Spring跨域解决方案4.1.@CrossOr

nacos服务无法注册到nacos服务中心问题及解决

《nacos服务无法注册到nacos服务中心问题及解决》本文详细描述了在Linux服务器上使用Tomcat启动Java程序时,服务无法注册到Nacos的排查过程,通过一系列排查步骤,发现问题出在Tom... 目录简介依赖异常情况排查断点调试原因解决NacosRegisterOnWar结果总结简介1、程序在

解决java.util.RandomAccessSubList cannot be cast to java.util.ArrayList错误的问题

《解决java.util.RandomAccessSubListcannotbecasttojava.util.ArrayList错误的问题》当你尝试将RandomAccessSubList... 目录Java.util.RandomAccessSubList cannot be cast to java.