rxjava之数据分批加载

2024-03-06 13:32
文章标签 java 数据 加载 rx 分批

本文主要是介绍rxjava之数据分批加载,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

使用场景:

当从服务器请求的数据比较庞大时,这个时候,需要对数据进行分批处理,然后以当前的数据刷新界面

效果图:

image

原理分析图:

image

完整代码如下:

mDataInfo = new DataInfo();
List<Integer> objects = new ArrayList<>();
for (int i = 0; i < 4000; i++) {objects.add(i);
}
mDataInfo.l1 = objects;
objects = new ArrayList<>();
for (int i = 0; i < 8000; i++) {objects.add(i);
}
mDataInfo.l2 = objects;
objects = new ArrayList<>();
for (int i = 0; i < 12000; i++) {objects.add(i);
}Observable.concat(Observable.just(mDataInfo.l1), Observable.just(mDataInfo.l2), Observable.just(mDataInfo.l3)).subscribeOn(Schedulers.io()).concatMap(new Function<List<Integer>, Observable<NewPageInfo>>() {@Overridepublic Observable<NewPageInfo> apply(List<Integer> list1) throws Exception {LoggerUtils.loge("concatMap list1.size = " + list1.size());List<NewPageInfo> list = new ArrayList<>();int pageSize = list1.size() / 1000;int start = -1, end = 0;List<Integer> tmp = new ArrayList<>(list1);NewPageInfo newPageInfo = null;String tagStr = "";if (list1.size() == mDataInfo.l1.size()) {tagStr = "l1";} else if (list1.size() == mDataInfo.l2.size()) {tagStr = "l2";} else if (list1.size() == mDataInfo.l3.size()) {tagStr = "l3";}for (int i = 0; i < pageSize; i++) {// 0 : 0// 1 1000start = i * 1000;end = (i + 1) * 1000 - 1;LoggerUtils.loge("s : " + start + " , e : " + end);List<Integer> subList = tmp.subList(start, end);newPageInfo = new NewPageInfo();newPageInfo.tag = tagStr;newPageInfo.datas = subList;newPageInfo.page = i + "";list.add(newPageInfo);}ThreadUtils.doSleep(1500);return Observable.fromIterable(list);}}).observeOn(AndroidSchedulers.mainThread()).subscribe(new Consumer<NewPageInfo>() {@Overridepublic void accept(NewPageInfo newPageInfo) throws Exception {List<Integer> datas = newPageInfo.datas;int size = datas.size();String msg = "count : " + newPageInfo.page + " , dataSize : " + size + " " +", " + "scope : start : " + datas.get(0) + " , end : " + datas.get(size- 1);LoggerUtils.loge(msg);UiUtils.postDelayed(new Runnable() {@Overridepublic void run() {if ("l1".equalsIgnoreCase(newPageInfo.tag)) {line1.append(msg + "\r\n");} else if ("l2".equalsIgnoreCase(newPageInfo.tag)) {line2.append(msg + "\r\n");} else if ("l3".equalsIgnoreCase(newPageInfo.tag)) {line3.append(msg + "\r\n");}}}, 800);}});

场景二

以上的操作,对象为空了,直接就会抛出空指针的异常,流程没办法往下走了。

改进后的操作如下

image

示例代码
private void initData() {MPChartInfo mpChartInfo = new MPChartInfo();mDataInfo = new DataInfo();List<Integer> objects = new ArrayList<>();for (int i = 0; i < 1000; i++) {objects.add(i);}mDataInfo.name = "l1";mDataInfo.l1 = objects;mpChartInfo.V52 = mDataInfo;mDataInfo = new DataInfo();objects = new ArrayList<>();for (int i = 0; i < 2000; i++) {objects.add(i);}mDataInfo.l1 = objects;objects = new ArrayList<>();for (int i = 0; i < 3000; i++) {objects.add(i);}mDataInfo.l2 = objects;mDataInfo.name = "l2";mpChartInfo.V54 = mDataInfo;mDataInfo = new DataInfo();objects = new ArrayList<>();for (int i = 0; i < 3000; i++) {objects.add(i);}mDataInfo.l1 = objects;objects = new ArrayList<>();for (int i = 0; i < 4000; i++) {objects.add(i);}mDataInfo.l2 = objects;objects = new ArrayList<>();for (int i = 0; i < 5000; i++) {objects.add(i);}mDataInfo.name = "l3";mDataInfo.l3 = objects;mpChartInfo.V58 = mDataInfo;showUI(mpChartInfo);
} /*** 标识传递,空数据的处理*/
private void ll_02_03(MPChartInfo mpChartInfo) {mV52 = mpChartInfo.getV52();mV54 = mpChartInfo.getV54();mV54 = null;// 对象为空时就使用空的ObservableObservable empty = Observable.empty();mV58 = mpChartInfo.getV58();mV58 = null;Observable.concat(mV52 != null ? Observable.just(mV52) : empty, mV54 != null ? Observable.just(mV54) : empty, mV58 != null ? Observable.just(mV58) : empty).subscribeOn(Schedulers.io()).concatMap(new Function<DataInfo, Observable<Map<String, List<Integer>>>>() {@Overridepublic Observable<Map<String, List<Integer>>> apply(DataInfo dataInfo) throwsException {LoggerUtils.loge("concatMap apply = " + dataInfo.name);ThreadUtils.doSleep(300);List<Integer> l1 = dataInfo.l1;List<Integer> l2 = dataInfo.l2;List<Integer> l3 = dataInfo.l3;// 定义标识,标识一定要往下传递,要区分是刷新哪个控件使用 Map<String, List<Integer>> map = new LinkedHashMap<>();map.put(dataInfo.name, l1);// 对象为空或集合为空时,使用空的ObservableObservable<Map<String, List<Integer>>> source1 = l1 != null && l1.size()> 0 ?Observable.just(map) : empty;map = new LinkedHashMap<>();map.put(dataInfo.name, l2);Observable<Map<String, List<Integer>>> source2 = l2 != null && l2.size()> 0 ? Observable.just(map) : empty;map = new LinkedHashMap<>();map.put(dataInfo.name, l3);Observable<Map<String, List<Integer>>> source3 = l3 != null && l3.size()> 0 ?Observable.just(map) :empty;Observable<Map<String, List<Integer>>> concat = Observable.concat(source1, source2,source3);return concat;}}).subscribeOn(Schedulers.io()).concatMap(new Function<Map<String, List<Integer>>, Observable<NewPageInfo>>() {@Overridepublic Observable<NewPageInfo> apply(Map<String, List<Integer>> list1) throwsException {Iterator<Map.Entry<String, List<Integer>>> iterator = list1.entrySet().iterator();Map.Entry<String, List<Integer>> entry = iterator.next();List<Integer> entryValue = entry.getValue();String key = entry.getKey();LoggerUtils.loge("concatMap apply tag = " + key + " , list1.size " +"= " + entryValue.size());List<NewPageInfo> list = new ArrayList<>();int pageSize = entryValue.size() / 1000;int start = -1, end = 0;List<Integer> tmp = new ArrayList<>(entryValue);NewPageInfo newPageInfo = null;String tagStr = key;for (int i = 0; i < pageSize; i++) {// 0 : 0// 1 1000start = i * 1000;end = (i + 1) * 1000 - 1;
//                            LoggerUtils.loge("s : " + start + " , e : " + end);List<Integer> subList = tmp.subList(start, end);newPageInfo = new NewPageInfo();newPageInfo.tag = tagStr;newPageInfo.datas = subList;newPageInfo.page = i + "";list.add(newPageInfo);}ThreadUtils.doSleep(500);return Observable.fromIterable(list);}}).observeOn(AndroidSchedulers.mainThread()).subscribe(new Consumer<NewPageInfo>() {@Overridepublic void accept(NewPageInfo newPageInfo) throws Exception {List<Integer> datas = newPageInfo.datas;int size = datas.size();String msg = "count : " + newPageInfo.page + " , dataSize : " + size + " " +", " + "scope : start : " + datas.get(0) + " , end : " + datas.get(size- 1);LoggerUtils.loge("consumer name = " + newPageInfo.tag + " , dataSize : "+ size);UiUtils.postDelayed(new Runnable() {@Overridepublic void run() {// 根据标签刷新控件if ("l1".equalsIgnoreCase(newPageInfo.tag)) {line1.append(msg + "\r\n");} else if ("l2".equalsIgnoreCase(newPageInfo.tag)) {line2.append(msg + "\r\n");} else if ("l3".equalsIgnoreCase(newPageInfo.tag)) {line3.append(msg + "\r\n");}}}, 400);}});
}

简书文章地址

这篇关于rxjava之数据分批加载的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/780216

相关文章

springboot集成easypoi导出word换行处理过程

《springboot集成easypoi导出word换行处理过程》SpringBoot集成Easypoi导出Word时,换行符n失效显示为空格,解决方法包括生成段落或替换模板中n为回车,同时需确... 目录项目场景问题描述解决方案第一种:生成段落的方式第二种:替换模板的情况,换行符替换成回车总结项目场景s

SpringBoot集成redisson实现延时队列教程

《SpringBoot集成redisson实现延时队列教程》文章介绍了使用Redisson实现延迟队列的完整步骤,包括依赖导入、Redis配置、工具类封装、业务枚举定义、执行器实现、Bean创建、消费... 目录1、先给项目导入Redisson依赖2、配置redis3、创建 RedissonConfig 配

SpringBoot中@Value注入静态变量方式

《SpringBoot中@Value注入静态变量方式》SpringBoot中静态变量无法直接用@Value注入,需通过setter方法,@Value(${})从属性文件获取值,@Value(#{})用... 目录项目场景解决方案注解说明1、@Value("${}")使用示例2、@Value("#{}"php

SpringBoot分段处理List集合多线程批量插入数据方式

《SpringBoot分段处理List集合多线程批量插入数据方式》文章介绍如何处理大数据量List批量插入数据库的优化方案:通过拆分List并分配独立线程处理,结合Spring线程池与异步方法提升效率... 目录项目场景解决方案1.实体类2.Mapper3.spring容器注入线程池bejsan对象4.创建

线上Java OOM问题定位与解决方案超详细解析

《线上JavaOOM问题定位与解决方案超详细解析》OOM是JVM抛出的错误,表示内存分配失败,:本文主要介绍线上JavaOOM问题定位与解决方案的相关资料,文中通过代码介绍的非常详细,需要的朋... 目录一、OOM问题核心认知1.1 OOM定义与技术定位1.2 OOM常见类型及技术特征二、OOM问题定位工具

PHP轻松处理千万行数据的方法详解

《PHP轻松处理千万行数据的方法详解》说到处理大数据集,PHP通常不是第一个想到的语言,但如果你曾经需要处理数百万行数据而不让服务器崩溃或内存耗尽,你就会知道PHP用对了工具有多强大,下面小编就... 目录问题的本质php 中的数据流处理:为什么必不可少生成器:内存高效的迭代方式流量控制:避免系统过载一次性

基于 Cursor 开发 Spring Boot 项目详细攻略

《基于Cursor开发SpringBoot项目详细攻略》Cursor是集成GPT4、Claude3.5等LLM的VSCode类AI编程工具,支持SpringBoot项目开发全流程,涵盖环境配... 目录cursor是什么?基于 Cursor 开发 Spring Boot 项目完整指南1. 环境准备2. 创建

C#实现千万数据秒级导入的代码

《C#实现千万数据秒级导入的代码》在实际开发中excel导入很常见,现代社会中很容易遇到大数据处理业务,所以本文我就给大家分享一下千万数据秒级导入怎么实现,文中有详细的代码示例供大家参考,需要的朋友可... 目录前言一、数据存储二、处理逻辑优化前代码处理逻辑优化后的代码总结前言在实际开发中excel导入很

Spring Security简介、使用与最佳实践

《SpringSecurity简介、使用与最佳实践》SpringSecurity是一个能够为基于Spring的企业应用系统提供声明式的安全访问控制解决方案的安全框架,本文给大家介绍SpringSec... 目录一、如何理解 Spring Security?—— 核心思想二、如何在 Java 项目中使用?——

SpringBoot+RustFS 实现文件切片极速上传的实例代码

《SpringBoot+RustFS实现文件切片极速上传的实例代码》本文介绍利用SpringBoot和RustFS构建高性能文件切片上传系统,实现大文件秒传、断点续传和分片上传等功能,具有一定的参考... 目录一、为什么选择 RustFS + SpringBoot?二、环境准备与部署2.1 安装 RustF