RxJava2_4:并行处理请求和数据缓存池

2024-06-09 16:32

本文主要是介绍RxJava2_4:并行处理请求和数据缓存池,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

RxJava2_4:并行处理请求和数据缓存池

参考:

http://www.jianshu.com/p/1f4867ce3c01

https://juejin.im/user/573dba2171cfe448aa97b7b0

 

并行处理:

为了解决并行的请求和数据处理,我们可以采用zip来进行。



通过zip我们可以将管道流A和管道流B请求的数据进行1+1对应的处理。一个A请求结果和一个B请求结果构成一个完整流进行处理。如果某一管道少数据,就不会再往下执行。

数据缓存池

如果有多余的数据就会被放入缓存池里面。缓存吃一旦存满就会oom。RxJava的observable和flowable都带有缓存池。但是flowable + subscriber对于缓存请求有对应的api。

Flwoable + subscriber采用的响应式拉取,也就是下游要多少流数据,上流给多少流数据。


策略:

l  ERROR:如果缓存池溢出,就会立刻抛出MissingBackpressureException异常,ERROR即保证在异步操作中,事件累积不能超过128,超过即出现异常。

l  BUFFER:把RxJava中默认的只能存128个事件的缓存池换成一个大的缓存池,支持存很多很多的数据,不会产生OOM。

l  DROP:当消费者处理不了事件,就丢弃。

l  LATEST:消费不掉的事件就丢掉。
唯一的区别就是LATEST总能使消费者能够接收到生产者产生的最后一个事件

 

 

这里的subscription对象是下游控制请求的对象。通过request方法判断一次处理上游缓存中的多少数据。这里下游一次的最大处理量是128,超出就会有oom的错误。

在相同线程中:

在subscriptionr的rquest请求进行之后,floableEmitter都会收到request中的数量,然后每次处理的时候内部的计数器减1.



在不同线程中:

当上下游工作在不同的线程里时,每一个线程里都有一个requested,而我们调用request(1000)时,实际上改变的是下游主线程中的requested,而上游中的requested的值是由RxJava内部调用request(n)去设置的。上游内部设置的request数量总是128。

 

我们设置request=96时。上游从128开始递减,下游从0开始累加到95。

 

这篇关于RxJava2_4:并行处理请求和数据缓存池的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1045703

相关文章

Spring Boot集成/输出/日志级别控制/持久化开发实践

《SpringBoot集成/输出/日志级别控制/持久化开发实践》SpringBoot默认集成Logback,支持灵活日志级别配置(INFO/DEBUG等),输出包含时间戳、级别、类名等信息,并可通过... 目录一、日志概述1.1、Spring Boot日志简介1.2、日志框架与默认配置1.3、日志的核心作用

破茧 JDBC:MyBatis 在 Spring Boot 中的轻量实践指南

《破茧JDBC:MyBatis在SpringBoot中的轻量实践指南》MyBatis是持久层框架,简化JDBC开发,通过接口+XML/注解实现数据访问,动态代理生成实现类,支持增删改查及参数... 目录一、什么是 MyBATis二、 MyBatis 入门2.1、创建项目2.2、配置数据库连接字符串2.3、入

Springboot项目启动失败提示找不到dao类的解决

《Springboot项目启动失败提示找不到dao类的解决》SpringBoot启动失败,因ProductServiceImpl未正确注入ProductDao,原因:Dao未注册为Bean,解决:在启... 目录错误描述原因解决方法总结***************************APPLICA编

深度解析Spring Security 中的 SecurityFilterChain核心功能

《深度解析SpringSecurity中的SecurityFilterChain核心功能》SecurityFilterChain通过组件化配置、类型安全路径匹配、多链协同三大特性,重构了Spri... 目录Spring Security 中的SecurityFilterChain深度解析一、Security

SpringBoot多环境配置数据读取方式

《SpringBoot多环境配置数据读取方式》SpringBoot通过环境隔离机制,支持properties/yaml/yml多格式配置,结合@Value、Environment和@Configura... 目录一、多环境配置的核心思路二、3种配置文件格式详解2.1 properties格式(传统格式)1.

Apache Ignite 与 Spring Boot 集成详细指南

《ApacheIgnite与SpringBoot集成详细指南》ApacheIgnite官方指南详解如何通过SpringBootStarter扩展实现自动配置,支持厚/轻客户端模式,简化Ign... 目录 一、背景:为什么需要这个集成? 二、两种集成方式(对应两种客户端模型) 三、方式一:自动配置 Thick

解决pandas无法读取csv文件数据的问题

《解决pandas无法读取csv文件数据的问题》本文讲述作者用Pandas读取CSV文件时因参数设置不当导致数据错位,通过调整delimiter和on_bad_lines参数最终解决问题,并强调正确参... 目录一、前言二、问题复现1. 问题2. 通过 on_bad_lines=‘warn’ 跳过异常数据3

Spring WebClient从入门到精通

《SpringWebClient从入门到精通》本文详解SpringWebClient非阻塞响应式特性及优势,涵盖核心API、实战应用与性能优化,对比RestTemplate,为微服务通信提供高效解决... 目录一、WebClient 概述1.1 为什么选择 WebClient?1.2 WebClient 与

Java.lang.InterruptedException被中止异常的原因及解决方案

《Java.lang.InterruptedException被中止异常的原因及解决方案》Java.lang.InterruptedException是线程被中断时抛出的异常,用于协作停止执行,常见于... 目录报错问题报错原因解决方法Java.lang.InterruptedException 是 Jav

深入浅出SpringBoot WebSocket构建实时应用全面指南

《深入浅出SpringBootWebSocket构建实时应用全面指南》WebSocket是一种在单个TCP连接上进行全双工通信的协议,这篇文章主要为大家详细介绍了SpringBoot如何集成WebS... 目录前言为什么需要 WebSocketWebSocket 是什么Spring Boot 如何简化 We