[pravega-021] pravega源码分析--Controller子项目--关于netty[01]

2024-06-11 09:08

本文主要是介绍[pravega-021] pravega源码分析--Controller子项目--关于netty[01],希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

0.nett 教程 《netty in action》2016年版本。和 《netty in action》浓缩版本 https://github.com/waylau/essential-netty-in-action


1. netty的概念和家狗

1.1 单进程bio服务。从bio讲起,blocking io,同一时间,处理一个链接。

1.2 多线程bio服务。每个线程,从头到尾处理一个链接。效率比单进程bio快。但是,在每个线程内,也等数据输入输出,浪费时间。其次,每个线程都需要分配内存,不同os的线程从64KB到1MB不等,占用内存资源。第三,即使jvm支持大量线程,context-switching上下文切换能支持的连接有上限,也就是1万个链接,关于上下文切换参考https://www.cnblogs.com/szlbm/p/5505707.html。由此,导致了著名的 十万并发 问题。

非阻塞io,也就是nio,是jdk1.4发布的。nio模式下,进程建立多个sokcket,每个socket都有读写,每个socket的读写都会通知到一个selector,当selector发现有新的读写事件完成了,就会让一个线程或者一个线程池去处理新读写事件对应的socket。多个socket的读写-->一个selector-->一个处理线程或者一个处理线程池。好处:多个sockcet的读写不再占用等待资源;工作线程数量少了节省内存和上下文切换;工作线程或者工作线程池可以复用做其他任务。

多线程任务的io的处理和分发,需要细致的处理。netty就是解决这个问题。


1.3 netty:异步,事件驱动。

1.4 netty的核心组件:Channels, Callbacks, Futures, Events and Handlers。Channel是nio的基本组件,连接到硬件比如file和socket,以便进行读写。Callbacks:回调函数,它通常是提供给另一个函数的引用,后者完成某个动作或者到某个时间会调用回调函数。Future,也是一种通知某个事件完成的方式,futures是异步调用函数的返回值站位符,从futures可以获取异步调用的结果,用人话来说,如果异步调用一个函数,这个函数有return返回值,那么返回值在future里返回给调用方(注意future的实现源码)。jdk提供Future接口,需要手工检查是否完成以及阻塞,不够方便,netty设计了更好用的ChannelFuture。

 

1.5 一个使用jdk future的例子

1.5.1 Main.java

import java.util.concurrent.Callable;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import java.util.concurrent.Future;/*** 本例运行,1秒后输出* taks1 run ok* null* 5秒后输出* sleep over* 42*/public class Main {public static void main(String args[]){ExecutorService executor = Executors.newCachedThreadPool();//Runnable没有返回值//无返回值的RunnableRunnable task1 = new Runnable() {@Overridepublic void run() {try{Thread.sleep(1000);}catch (Exception e){}System.out.println("taks1 run ok");}};//Callable有返回值Callable<Integer> task2 = new Callable() {@Overridepublic Integer call() {try {Thread.sleep(5000);}catch (Exception e){}System.out.println("sleep over");return 42;}};Future<?> future1 = executor.submit(task1);Future<Integer> future2 = executor.submit(task2);try{System.out.println(future1.get());System.out.println(future2.get());}catch (Exception e){}System.exit(0);}
}

1.5.2 build.gradle

group 'com.brian.demo.netty'
version '1.0-SNAPSHOT'apply plugin: 'java'sourceCompatibility = 1.8repositories {mavenCentral()
}dependencies {compile group: 'io.netty', name: 'netty-all', version: '4.1.5.Final'compile group: 'io.netty', name: 'netty-transport-rxtx', version: '4.1.5.Final'testCompile group: 'junit', name: 'junit', version: '4.12'
}

1.5.3  jdk 1.7实现了nio.2,跟1.4的nio不同,api和实现都不同。共同的地方,都使用ByteBuffer作为数据容器。ByteBuffer可以在堆上分配内存,也可以在堆外分配。如果在堆外分配内存,那么数据传输不经过channel,更快,代价就是创建和释放成本更高。ByteBuffer可以在各实例之间实现零拷贝数据共享。

1.5.4 nio的问题:nio2支持7以上,不支持6及以下; nio的ByteBuffer不可扩展不能实现ByteBuffer数组; nio的channel的读写有内存泄漏;  epoll的bug导致cpu占用100%。netty解决这些问题。

1.6 netty的ChannelFuture,建立连接的返回值,可以注册若干个ChannelFutureListener监听,监听有回调函数,比如operationComplete函数,操作完成后会回调,这样监听器可以判断完成的操作是成功还是错误,如果是错误,可以检查返回结果的Throwable接口获取错误信息。用了ChannelFutureListener,就不需要手工判断操作是否完成。(异步调用链的全程,要么是轮询,要么是回调)

 

 

 

这篇关于[pravega-021] pravega源码分析--Controller子项目--关于netty[01]的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1050734

相关文章

慢sql提前分析预警和动态sql替换-Mybatis-SQL

《慢sql提前分析预警和动态sql替换-Mybatis-SQL》为防止慢SQL问题而开发的MyBatis组件,该组件能够在开发、测试阶段自动分析SQL语句,并在出现慢SQL问题时通过Ducc配置实现动... 目录背景解决思路开源方案调研设计方案详细设计使用方法1、引入依赖jar包2、配置组件XML3、核心配

Java NoClassDefFoundError运行时错误分析解决

《JavaNoClassDefFoundError运行时错误分析解决》在Java开发中,NoClassDefFoundError是一种常见的运行时错误,它通常表明Java虚拟机在尝试加载一个类时未能... 目录前言一、问题分析二、报错原因三、解决思路检查类路径配置检查依赖库检查类文件调试类加载器问题四、常见

Java controller接口出入参时间序列化转换操作方法(两种)

《Javacontroller接口出入参时间序列化转换操作方法(两种)》:本文主要介绍Javacontroller接口出入参时间序列化转换操作方法,本文给大家列举两种简单方法,感兴趣的朋友一起看... 目录方式一、使用注解方式二、统一配置场景:在controller编写的接口,在前后端交互过程中一般都会涉及

Python中的Walrus运算符分析示例详解

《Python中的Walrus运算符分析示例详解》Python中的Walrus运算符(:=)是Python3.8引入的一个新特性,允许在表达式中同时赋值和返回值,它的核心作用是减少重复计算,提升代码简... 目录1. 在循环中避免重复计算2. 在条件判断中同时赋值变量3. 在列表推导式或字典推导式中简化逻辑

Java程序进程起来了但是不打印日志的原因分析

《Java程序进程起来了但是不打印日志的原因分析》:本文主要介绍Java程序进程起来了但是不打印日志的原因分析,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Java程序进程起来了但是不打印日志的原因1、日志配置问题2、日志文件权限问题3、日志文件路径问题4、程序

Java 正则表达式URL 匹配与源码全解析

《Java正则表达式URL匹配与源码全解析》在Web应用开发中,我们经常需要对URL进行格式验证,今天我们结合Java的Pattern和Matcher类,深入理解正则表达式在实际应用中... 目录1.正则表达式分解:2. 添加域名匹配 (2)3. 添加路径和查询参数匹配 (3) 4. 最终优化版本5.设计思

Java字符串操作技巧之语法、示例与应用场景分析

《Java字符串操作技巧之语法、示例与应用场景分析》在Java算法题和日常开发中,字符串处理是必备的核心技能,本文全面梳理Java中字符串的常用操作语法,结合代码示例、应用场景和避坑指南,可快速掌握字... 目录引言1. 基础操作1.1 创建字符串1.2 获取长度1.3 访问字符2. 字符串处理2.1 子字

Python 迭代器和生成器概念及场景分析

《Python迭代器和生成器概念及场景分析》yield是Python中实现惰性计算和协程的核心工具,结合send()、throw()、close()等方法,能够构建高效、灵活的数据流和控制流模型,这... 目录迭代器的介绍自定义迭代器省略的迭代器生产器的介绍yield的普通用法yield的高级用法yidle

C++ Sort函数使用场景分析

《C++Sort函数使用场景分析》sort函数是algorithm库下的一个函数,sort函数是不稳定的,即大小相同的元素在排序后相对顺序可能发生改变,如果某些场景需要保持相同元素间的相对顺序,可使... 目录C++ Sort函数详解一、sort函数调用的两种方式二、sort函数使用场景三、sort函数排序

Java调用C++动态库超详细步骤讲解(附源码)

《Java调用C++动态库超详细步骤讲解(附源码)》C语言因其高效和接近硬件的特性,时常会被用在性能要求较高或者需要直接操作硬件的场合,:本文主要介绍Java调用C++动态库的相关资料,文中通过代... 目录一、直接调用C++库第一步:动态库生成(vs2017+qt5.12.10)第二步:Java调用C++