Netty专栏 (五)——— EventLoop和线程模型

2024-03-31 06:48

本文主要是介绍Netty专栏 (五)——— EventLoop和线程模型,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Netty-In-Action

@author 鲁伟林
记录《Netty 实战》中各章节学习过程,写下一些自己的思考和总结,帮助使用Netty框架的开发技术人员们,能够有所得,避免踩坑。
本博客目录结构将严格按照书本《Netty 实战》,省略与Netty无关的内容,可能出现跳小章节。
本博客中涉及的完整代码:
GitHub地址: https://github.com/thinkingfioa/netty-learning/tree/master/netty-in-action。
本人博客地址: https://blog.csdn.net/thinking_fioa

 

第7章 EventLoop和线程模型

在本章开始前,推荐一本书籍《Java并发编程实战》,此书应该是所有Java开发人员必读书籍。

7.1 线程模型概述

基本的线程池化模式:

  1. 从线程池中的空闲线程列表中选择一个Thread,指派去运行一个已提交的任务
  2. 任务完成后,该Thread重新回到线程池,使其可被重用

 

线程池通过缓存和重用Thread,减少了线程创建和销毁的过程,极大的提高了性能。但是它并不能消除上下文切换所带来的开销,随着项目中线程数据量的增多,这种切换所带来的开销非常严重。

7.2 EventLoop接口

EventLoop通俗的理解就是:事件循环。直观的代码逻辑:

while (!terminated) {List<Runnable> readyEvents = blockUntilEventsReady();for (Runnable ev: readyEvents) {ev.run();}
}

Netty提供的EventLoop结合了JDK的并发编程和Channel的事件,类层次如下 

约定俗成的关系(非常重要):

  1. 一个EventLoopGroup包含一个或多个EventLoop
  2. 一个EventLoop在其生命周期内只能和一个Thread绑定
  3. 所有I/O操作和事件都分配给EventLoop绑定的Thread处理
  4. 一个Channel在其生命周期内,只能注册于一个EventLoop
  5. 一个EventLoop可能被分配处理多个Channel。也就是EventLoop与Channel是1:n的关系
  6. 一个Channel上的所有ChannelHandler的事件由绑定的EventLoop中的I/O线程处理
  7. 不要阻塞Channel的I/O线程,可能会影响该EventLoop中其他Channel事件处理
  8. EventLoop接口中只定义一个方法: parent() ----- 用于返回当前EventLoop实现的实例所属的EventLoopGroup的引用

7.2.2 Netty3与Netty4中I/O操作区别

  1. Netty3中不保证多个线程不会在同一时刻访问出站事件 ----- 不同的线程掉用Channel.write()方法,同一个Channel可能同时触发出站事件。
  2. Netty4中所有的出站事件肯定是交由EventLoop绑定的线程异步处理,所以不会存在Netty3多个线程访问一个Channel的问题
  3. Netty3中exceptionCaught事件是一个入站事件,可能在Channel.write()出站事件发生时,发生异常,产生一个exceptonCaught入站事件,则会将异常交由I/O线程处理,存在上下文切换
  4. Metty4则保证Channel上所产生的所有I/O事件,都交由某个指定的EventLoop来处理

7.3 任务调度

调度一个任务以便稍后(延迟)执行或者周期性地执行

7.3.1 JDK的任务调度API

JDK提供Timer定时器和ScheduledExecutorService来实现调度功能。推荐使用ScheduledExecutorService。

ScheduledExecutorService与Timer定时器比较:

  1. Timer执行周期任务严格依赖于系统时间。比如,每5秒执行一次定时任务,当前时间是:2018-08-22 09:00:00,如果将机器时间调成昨天时间2018-08-21。那么Timer定时任务将失效。而ScheduledExecutorService依然有效,其基于时间的延迟,与系统时间改变无关
  2. Timer是单线程,当执行多个任务时,任务1抛出异常并且为正常处理,Timer线程将退出。所有的任务都不再被调度。而ScheduledExecutorService则保证task1出现异常时,不影响task2的运行
  3. Timer是单线程,如果task1执行非常耗时,则会影响task2执行。而ScheduledExecutorService则可以是多线程处理

7.3.2 使用EventLoop调度任务

Netty提供的EventLoop能够帮助用户实现周期性任务调度任务。从图7-2中可以发现,EventLoop扩展了ScheduledExecutorService。

7.4 实现细节

7.4.1 线程管理

Netty线程模型的卓越性能取决于对于当前执行的Thread的身份的确定,通过调用EventExecutor的inEventLoop(Thread)方法实现。EventLoop会做以下判断,以提交处理性能,减少线程切换代价

  1. 如果当前调用线程正是支持EventLoop的线程,那么提交的代码块将会被(直接)执行
  2. 否则,EventLoop将它放入到内部队列中,以便稍后执行
  3. 注意:每个EventLoop都有自己的任务队列,独立于其他的EventLoop

下图是Netty线程模型的关键组成部分[通过阅读源码4.1.22发现,实现逻辑并非下图,待考究

7.4.2 EventLoop线程的分配

根据不同的传输实现,EventLoop的创建和分配方式也不同

7.4.2.1 异步传输

异步传输通过尽可能少量的Thread来支持大量的Channel,而不是每个Channel分配一个Thread。少量的EventLoop可能会被多个Channel共享。

下图3个固定大小的EventLoop(每个EventLoop都有一个Thread支撑),支持多个Channel的所有事件和任务 

  1. EventLoopGroup负责为每个新创建的Channel分配一个EventLoop。当前实现采用顺序循环(round-robin)方式来进行分配
  2. 一旦一个Channel被分配给一个EventLoop,那么它的整个生命周期中都使用这个EventLoop
  3. 提醒:由于EventLoop与Channel的映射关系是1:n,所以当使用ThreadLocal时,请开发人员知晓其中利弊。

7.4.2.2 阻塞传输

用于像OIO这样的其他传输设计,每个Channel都将被分配给一个EventLoop(以及它的Thread),EventLoop与Channel的映射关系是1:1

 

附录

  1. 完整代码地址
  2. netty-in-action书籍下载地址

这篇关于Netty专栏 (五)——— EventLoop和线程模型的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/863687

相关文章

Java 线程安全与 volatile与单例模式问题及解决方案

《Java线程安全与volatile与单例模式问题及解决方案》文章主要讲解线程安全问题的五个成因(调度随机、变量修改、非原子操作、内存可见性、指令重排序)及解决方案,强调使用volatile关键字... 目录什么是线程安全线程安全问题的产生与解决方案线程的调度是随机的多个线程对同一个变量进行修改线程的修改操

Java中实现线程的创建和启动的方法

《Java中实现线程的创建和启动的方法》在Java中,实现线程的创建和启动是两个不同但紧密相关的概念,理解为什么要启动线程(调用start()方法)而非直接调用run()方法,是掌握多线程编程的关键,... 目录1. 线程的生命周期2. start() vs run() 的本质区别3. 为什么必须通过 st

Linux实现线程同步的多种方式汇总

《Linux实现线程同步的多种方式汇总》本文详细介绍了Linux下线程同步的多种方法,包括互斥锁、自旋锁、信号量以及它们的使用示例,通过这些同步机制,可以解决线程安全问题,防止资源竞争导致的错误,示例... 目录什么是线程同步?一、互斥锁(单人洗手间规则)适用场景:特点:二、条件变量(咖啡厅取餐系统)工作流

Java中常见队列举例详解(非线程安全)

《Java中常见队列举例详解(非线程安全)》队列用于模拟队列这种数据结构,队列通常是指先进先出的容器,:本文主要介绍Java中常见队列(非线程安全)的相关资料,文中通过代码介绍的非常详细,需要的朋... 目录一.队列定义 二.常见接口 三.常见实现类3.1 ArrayDeque3.1.1 实现原理3.1.2

SpringBoot3中使用虚拟线程的完整步骤

《SpringBoot3中使用虚拟线程的完整步骤》在SpringBoot3中使用Java21+的虚拟线程(VirtualThreads)可以显著提升I/O密集型应用的并发能力,这篇文章为大家介绍了详细... 目录1. 环境准备2. 配置虚拟线程方式一:全局启用虚拟线程(Tomcat/Jetty)方式二:异步

如何解决Druid线程池Cause:java.sql.SQLRecoverableException:IO错误:Socket read timed out的问题

《如何解决Druid线程池Cause:java.sql.SQLRecoverableException:IO错误:Socketreadtimedout的问题》:本文主要介绍解决Druid线程... 目录异常信息触发场景找到版本发布更新的说明从版本更新信息可以看到该默认逻辑已经去除总结异常信息触发场景复

详解如何使用Python从零开始构建文本统计模型

《详解如何使用Python从零开始构建文本统计模型》在自然语言处理领域,词汇表构建是文本预处理的关键环节,本文通过Python代码实践,演示如何从原始文本中提取多尺度特征,并通过动态调整机制构建更精确... 目录一、项目背景与核心思想二、核心代码解析1. 数据加载与预处理2. 多尺度字符统计3. 统计结果可

SpringBoot整合Sa-Token实现RBAC权限模型的过程解析

《SpringBoot整合Sa-Token实现RBAC权限模型的过程解析》:本文主要介绍SpringBoot整合Sa-Token实现RBAC权限模型的过程解析,本文给大家介绍的非常详细,对大家的学... 目录前言一、基础概念1.1 RBAC模型核心概念1.2 Sa-Token核心功能1.3 环境准备二、表结

JAVA保证HashMap线程安全的几种方式

《JAVA保证HashMap线程安全的几种方式》HashMap是线程不安全的,这意味着如果多个线程并发地访问和修改同一个HashMap实例,可能会导致数据不一致和其他线程安全问题,本文主要介绍了JAV... 目录1. 使用 Collections.synchronizedMap2. 使用 Concurren

Spring Security基于数据库的ABAC属性权限模型实战开发教程

《SpringSecurity基于数据库的ABAC属性权限模型实战开发教程》:本文主要介绍SpringSecurity基于数据库的ABAC属性权限模型实战开发教程,本文给大家介绍的非常详细,对大... 目录1. 前言2. 权限决策依据RBACABAC综合对比3. 数据库表结构说明4. 实战开始5. MyBA