linux 高并发socket通信模型

2024-05-04 01:48

本文主要是介绍linux 高并发socket通信模型,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

------select

1 一个误区很多人认为它最大可以监听1024个,实际上却是文件描述符的值不能大于等于1024,所以除掉标准输入、输出、错误输出,一定少于1024个,如果在之前还打开了其他文件,那会更少

2 select返回后,一般要轮询fd_set,发现新连接要加上,连接断开要去掉,这个过程一定要这样做:select之前把fd_set临时拷贝一份,轮询中对它的修改只在临时fd_set上做,轮询完了,再对这个临时fd_set select,否则你可能明明有连接进来,却accept不到,这可能是因为轮询中如果直接修改fdset,select的底层就会定位错乱


------poll

性能测试发现,select与poll有相似的调用时间与cpu占用率,都随着数据量变大或者连接数变大(活动连接不变)而变大

连接进入时,返回POLLIN,连接关闭时返回POLLERR 或者 POLLIN


------epoll

正如传说的那样,epoll的调用时间与cpu占用率只会随数据量变大,而几乎不受连接数影响

当连接关闭时,会收到EPOLLIN事件

在ET模式下,不管是监听socket还是连接客户端的socket,在EPOLLIN时,都应该重复read一直到EAGAIN(多次连接进入或者客户端的多次send调用都只产生一次EPOLL事件),否则下次等待EPOLLIN将会挂起,这样对上层应用处理起来更复杂

所以还是推荐用默认的LT模式

在对客户端的发送也可能出现阻塞,所以epoll也应该注册EPOLLOUT,但不是在一开始(那会让所有文件描述符都返回可用,降低epoll的效率,合理的机制应该是这样:对accecpt的客户端连接一开始只注册EPOLLIN事件,触发后接收客户端消息,生成回复,将回复放到一个程序自己的缓冲区内,修改该文件描述符的注册事件为EPOLLIN|EPOLLOUT(视业务逻辑而定,如果要求必须应答发送之前不能接收请求,可只注册EPOLLOUT事件),当EPOLLOUT触发时,将回复发送出去,从缓冲区中删除回复,再修改该连接为注册EPOLLIN事件

即使在单线程程序中(运行在家用笔记本的虚拟机上),在3万个连接的1万个活动连接上,epoll也可以一秒内收发100MB数据(已经接近于Gbit网卡的理论上限),所以如果没有其它的IO活动或者计算处理,单线程的epoll完全可以应付高并发socket通信

如果连接爆发,比如一秒1万个,epoll server会在10+秒内accept完,没必要担心它accept过慢,因为当监听队列不足时,tcp会忽略客户端的SYN报文,这样客户端就会重传,只要给客户端设置一个合适的超时时间,例如15妙,epoll server处理每秒10000个新加连接没有问题


-----一般处理模型

生产者消费者模式,一个线程单独负责从监听socket上accept,它收到新连接后,加锁放入公共buffer,若干个工作线程加锁从公共buffer上取得连接,加入自己的epoll等待集中,等待一定的时间,有数据则进行收发,没数据继续从公共buffer上取连接,但是这里并不适用在线程间用条件变量通知,因为即使公共buffer上没有新连接,工作线程也不应该等待accept线程通知,而是应立即用epoll wait自己已有的连接

不能采用多个线程自主抢占连接的方式,数据在不同连接上是不均匀的,如果一些连接现在数据量现在过大,就会得到很少的新连接,以后又会出现数据饥饿,而那些当时抢占到过多连接的线程以后则会压力过大,处理变慢。应该由单独线程,例如负责accept的线程,分配到每个线程自己的连接队列中等待处理,另外,每个处理线程都采用LT模式,每个活动连接上轮流接收一次消息,然后就取回队列中的新连接,如果采用ET模式,就可能一直忙于在旧连接上收发数据,而冷落新连接。


公司的网络备份软件,采用的是poll/select模型,因为客户端一旦运行备份/恢复任务,在连接就一定有数据收发任务,这种情况下,epoll不能加快性能


对于某些输入io只有一路的程序,数据接收线程 + circle buffer + 数据处理线程是一个比较简单的模型


上面的方案仍然造成数据量的线程处理不过来,数据量小的线程又很空闲,应该采用如下方案

主线程内用epoll接收数据和accept新连接,并解析出消息,放入队列中让所有的线程去抢,至于如何多个线程同时对一个连接发送消息,可以采用与dedupe中多线程处理FP cache(一个hash table)的方案类似,分配与线程数目相同的锁,当处理完消息需要发送时,将连接的文件描述符数除以线程数目,余是多少,就加锁哪个锁,这样,多个线程能尽量分配到不同的锁上增加并发性,而对同一个连接加同一个锁进行互斥的发送

另外,这还需要处理SIGPIPE消息,以免前面一个线程关闭了连接,另一个线程又去发送,产生SIGPIPE信号,使进程exit


原文:http://blog.csdn.net/piaoairy219/article/details/17398545

这篇关于linux 高并发socket通信模型的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/958100

相关文章

Linux CPU飙升排查五步法解读

《LinuxCPU飙升排查五步法解读》:本文主要介绍LinuxCPU飙升排查五步法,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录排查思路-五步法1. top命令定位应用进程pid2.php top-Hp[pid]定位应用进程对应的线程tid3. printf"%

Linux下安装Anaconda3全过程

《Linux下安装Anaconda3全过程》:本文主要介绍Linux下安装Anaconda3全过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录简介环境下载安装一、找到下载好的文件名为Anaconda3-2018.12-linux-x86_64的安装包二、或者通

Linux系统之stress-ng测压工具的使用

《Linux系统之stress-ng测压工具的使用》:本文主要介绍Linux系统之stress-ng测压工具的使用,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、理论1.stress工具简介与安装2.语法及参数3.具体安装二、实验1.运行8 cpu, 4 fo

Linux lvm实例之如何创建一个专用于MySQL数据存储的LVM卷组

《Linuxlvm实例之如何创建一个专用于MySQL数据存储的LVM卷组》:本文主要介绍使用Linux创建一个专用于MySQL数据存储的LVM卷组的实例,具有很好的参考价值,希望对大家有所帮助,... 目录在Centos 7上创建卷China编程组并配置mysql数据目录1. 检查现有磁盘2. 创建物理卷3. 创

Linux查看系统盘和SSD盘的容量、型号及挂载信息的方法

《Linux查看系统盘和SSD盘的容量、型号及挂载信息的方法》在Linux系统中,管理磁盘设备和分区是日常运维工作的重要部分,而lsblk命令是一个强大的工具,它用于列出系统中的块设备(blockde... 目录1. 查看所有磁盘的物理信息方法 1:使用 lsblk(推荐)方法 2:使用 fdisk -l(

Linux中的more 和 less区别对比分析

《Linux中的more和less区别对比分析》在Linux/Unix系统中,more和less都是用于分页查看文本文件的命令,但less是more的增强版,功能更强大,:本文主要介绍Linu... 目录1. 基础功能对比2. 常用操作对比less 的操作3. 实际使用示例4. 为什么推荐 less?5.

python多线程并发测试过程

《python多线程并发测试过程》:本文主要介绍python多线程并发测试过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、并发与并行?二、同步与异步的概念?三、线程与进程的区别?需求1:多线程执行不同任务需求2:多线程执行相同任务总结一、并发与并行?1、

linux lvm快照的正确mount挂载实现方式

《linuxlvm快照的正确mount挂载实现方式》:本文主要介绍linuxlvm快照的正确mount挂载实现方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录linux lvm快照的正确mount挂载1. 检查快照是否正确创建www.chinasem.cn2.

Linux给磁盘扩容(LVM方式)的方法实现

《Linux给磁盘扩容(LVM方式)的方法实现》本文主要介绍了Linux给磁盘扩容(LVM方式)的方法实现,涵盖PV/VG/LV概念及操作步骤,具有一定的参考价值,感兴趣的可以了解一下... 目录1 概念2 实战2.1 相关基础命令2.2 开始给LVM扩容2.3 总结最近测试性能,在本地打数据时,发现磁盘空

Linux网络配置之网桥和虚拟网络的配置指南

《Linux网络配置之网桥和虚拟网络的配置指南》这篇文章主要为大家详细介绍了Linux中配置网桥和虚拟网络的相关方法,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 一、网桥的配置在linux系统中配置一个新的网桥主要涉及以下几个步骤:1.为yum仓库做准备,安装组件epel-re