OkHttp3源码分析[缓存策略]

2024-09-06 01:18

本文主要是介绍OkHttp3源码分析[缓存策略],希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

OkHttp系列文章如下

  • OkHttp3源码分析[综述]
  • OkHttp3源码分析[复用连接池]
  • OkHttp3源码分析[缓存策略]
  • OkHttp3源码分析[DiskLruCache]
  • OkHttp3源码分析[任务队列]

本文专门分析OkHttp的缓存策略,应该是okhttp分析中最简单的一篇了


HTTP缓存基础知识

在分析源码之前,我们先回顾一下http的缓存Header的含义

1. Expires

表示到期时间,一般用在response报文中,当超过此事件后响应将被认为是无效的而需要网络连接,反之而是直接使用缓存

Expires: Thu, 12 Jan 2017 11:01:33 GMT
2. Cache-Control

相对值,单位是秒,指定某个文件被续多少秒的时间,从而避免额外的网络请求。比expired更好的选择,它不用要求服务器与客户端的时间同步,也不用服务器时刻同步修改配置Expired中的绝对时间,而且它的优先级比Expires更高。比如简书静态资源有如下的header,表示可以续31536000秒,也就是一年。

Cache-Control: max-age=31536000, public
3. 修订文件名(Reving Filenames)

如果我们通过设置header保证了客户端可以缓存的,而此时远程服务器更新了文件如何解决呢?我们这时可以通过修改url中的文件名版本后缀进行缓存,比如下文是又拍云的公共CDN就提供了多个版本的JQuery

upcdn.b0.upaiyun.com/libs/jquery/jquery-2.0.3.min.js
4. 条件GET请求(Conditional GET Requests)与304

如缓存果过期或者强制放弃缓存,在此情况下,缓存策略全部交给服务器判断,客户端只用发送条件get请求即可,如果缓存是有效的,则返回304 Not Modifiled,否则直接返回body。

请求的方式有两种:

4.1. Last-Modified-Date:

客户端第一次网络请求时,服务器返回了

Last-Modified: Tue, 12 Jan 2016 09:31:27 GMT

客户端再次请求时,通过发送

If-Modified-Since: Tue, 12 Jan 2016 09:31:27 GMT

交给服务器进行判断,如果仍然可以缓存使用,服务器就返回304

4.2. ETag

ETag是对资源文件的一种摘要,客户端并不需要了解实现细节。当客户端第一请求时,服务器返回了

ETag: "5694c7ef-24dc"

客户端再次请求时,通过发送

If-None-Match:"5694c7ef-24dc"

交给服务器进行判断,如果仍然可以缓存使用,服务器就返回304

如果 ETag 和 Last-Modified 都有,则必须一次性都发给服务器,它们没有优先级之分,反正这里客户端没有任何判断的逻辑。

5. 其它标签
  • no-cache/no-store: 不使用缓存
  • only-if-cached: 只使用缓存
  • Date: The date and time that the message was sent
  • Age: The Age response-header field conveys the sender's estimate of the amount of time since the response (or its revalidation) was generated at the origin server. 说人话就是CDN反代服务器到原始服务器获取数据延时的缓存时间

"only-if-cached"标签非常具有诱导性,它只在请求中使用,表示无论是否有网完全只使用缓存(如果命中还好说,否则返回503错误/网络错误),这个标签比较危险。

全部的标签,可以到这里看

以上内容是作为一个服务器开发或者客户端的常识,下图是网上找的总结,注意图中的 ETag 和 Last-Modified 可能有优先级的歧义,你只需要记住它们是没有优先级的。


图源: 浏览器缓存机制 - 吴秦(Tyler)

2. 源码分析

OkHttp中使用了CacheStrategy实现了上文的流程图,它根据之前的缓存结果与当前将要发送Request的header进行策略分析,并得出是否进行请求的结论。

2.1. 总体请求流程分析

CacheStrategy类似一个mapping操作,将两个值输入,再将两个值输出

Inputrequest, cacheCandidate
CacheStrategy处理,判断Header信息
OutputnetworkRequest, cacheResponse

Request:
开发者手动编写并在Interceptor中递归加工而成的对象(如果读者需要调试分析的话,可以用logging-interceptor进行log操作),我们只需要知道了目前传入的Request中并没有任何关于缓存的Header

cacheCandidate:
也就是上次与服务器交互缓存的Response,可能为null。这里的缓存全部是基于文件系统的Map,key是请求中url的md5,value是在文件中查询到的缓存,页面置换基于LRU算法,我们现在只需要知道它是一个可以读取缓存Header的Response即可。

当被CacheStrategy加工输出后,输出networkRequestcacheResponse,根据是否为空执行不同的请求

networkRequestcacheResponseresult
nullnullonly-if-cached(表明不进行网络请求,且缓存不存在或者过期,一定会返回503错误)
nullnon-null不进行网络请求,而且缓存可以使用,直接返回缓存,不用请求网络
non-nullnull需要进行网络请求,而且缓存不存在或者过期,直接访问网络
non-nullnon-nullHeader中含有ETag/Last-Modified标签,需要在条件请求下使用,还是需要访问网络

以上是对networkRequest/cacheResponse进行findusage查询获得出的结论

基本上与上文的图片完全一致,以上就是OkHttp的缓存策略

关于此部分的分析,读者可以在HttpEngine对象中通过对userResponse进行findUsage分析得出,源码都是一大堆的if判断

2.2. CacheStrategy的加工过程

CacheStrategy使用Factory模式进行构造,参数如下

InternalCache responseCache = Internal.instance.internalCache(client);
//cacheCandidate从disklurcache中获取
//request的url被md5序列化为key,进行缓存查询
Response cacheCandidate = responseCache != null ? responseCache.get(request) : null;
//请求与缓存
factory = new CacheStrategy.Factory(now, request, cacheCandidate);
cacheStrategy = factory.get();
//输出结果
networkRequest = cacheStrategy.networkRequest;
cacheResponse = cacheStrategy.cacheResponse;
//进行一大堆的if判断,内容同上表格
.....

可以看出Factory.get()是最关键的缓存策略的判断,我们点入get()方法,可以发现是对getCandidate()的一个封装,我们接着点开getCandidate(),全是if与数学计算,详细代码如下

private CacheStrategy getCandidate() {//如果缓存没有命中(即null),网络请求也不需要加缓存Header了if (cacheResponse == null) {//`没有缓存的网络请求,查上文的表可知是直接访问return new CacheStrategy(request, null);}// 如果缓存的TLS握手信息丢失,返回进行直接连接if (request.isHttps() && cacheResponse.handshake() == null) {//直接访问return new CacheStrategy(request, null);}//检测response的状态码,Expired时间,是否有no-cache标签if (!isCacheable(cacheResponse, request)) {//直接访问return new CacheStrategy(request, null);}CacheControl requestCaching = request.cacheControl();//如果请求报文使用了`no-cache`标签(这个只可能是开发者故意添加的)//或者有ETag/Since标签(也就是条件GET请求)if (requestCaching.noCache() || hasConditions(request)) {//直接连接,把缓存判断交给服务器return new CacheStrategy(request, null);}//根据RFC协议计算//计算当前age的时间戳//now - sent + age (s)long ageMillis = cacheResponseAge();//大部分情况服务器设置为max-agelong freshMillis = computeFreshnessLifetime();if (requestCaching.maxAgeSeconds() != -1) {//大部分情况下是取max-agefreshMillis = Math.min(freshMillis, SECONDS.toMillis(requestCaching.maxAgeSeconds()));}long minFreshMillis = 0;if (requestCaching.minFreshSeconds() != -1) {//大部分情况下设置是0minFreshMillis = SECONDS.toMillis(requestCaching.minFreshSeconds());}long maxStaleMillis = 0;//ParseHeader中的缓存控制信息CacheControl responseCaching = cacheResponse.cacheControl();if (!responseCaching.mustRevalidate() && requestCaching.maxStaleSeconds() != -1) {//设置最大过期时间,一般设置为0maxStaleMillis = SECONDS.toMillis(requestCaching.maxStaleSeconds());}//缓存在过期时间内,可以使用//大部分情况下是进行如下判断//now - sent + age + 0 < max-age + 0if (!responseCaching.noCache() && ageMillis + minFreshMillis < freshMillis + maxStaleMillis) {//返回上次的缓存Response.Builder builder = cacheResponse.newBuilder();return new CacheStrategy(null, builder.build());}//缓存失效, 如果有etag等信息//进行发送`conditional`请求,交给服务器处理Request.Builder conditionalRequestBuilder = request.newBuilder();if (etag != null) {conditionalRequestBuilder.header("If-None-Match", etag);} else if (lastModified != null) {conditionalRequestBuilder.header("If-Modified-Since", lastModifiedString);} else if (servedDate != null) {conditionalRequestBuilder.header("If-Modified-Since", servedDateString);}//下面请求实质还说网络请求Request conditionalRequest = conditionalRequestBuilder.build();return hasConditions(conditionalRequest) ? new CacheStrategy(conditionalRequest,cacheResponse) : new CacheStrategy(conditionalRequest, null);
}

太长不看的话,大多数常见的情况可以用这个估算

now - sent + age < max-age

这里有个技巧,对构造函数进行findUsage查询,就可以看出各个输出是否为空的结果,然后各个击破分析


new CacheStrategy()

3. 结论

通过上面的分析,我们可以发现,okhttp实现的缓存策略实质上就是大量的if判断集合,这些是根据RFC标准文档写死的,并没有相当难的技巧。

  1. Okhttp的缓存是自动完成的,完全由服务器Header决定的,自己没有必要进行控制。网上热传的文章在Interceptor中手工添加缓存代码控制,它固然有用,但是属于Hack式的利用,违反了RFC文档标准,不建议使用,OkHttp的官方缓存控制在注释中。如果读者的需求是对象持久化,建议用文件储存或者数据库即可(比如realm)。
  2. 服务器的配置非常重要,如果你需要减小请求次数,建议直接找对接人员对max-age等头文件进行优化;服务器的时钟需要严格NTP同步
  3. 充分利用Idea的findUsage的功能,源码的各个跳转条件可以很快分析完成
  4. 使用CMD + Y可以快速预览某个函数,类似于forcetouch功能


    Idea quick preview
  5. 使用CMD + 左键可以添加标签,方便跳转代码,如图


    Idea Favorite Bookmarks

最后,感谢大家的观看

这篇关于OkHttp3源码分析[缓存策略]的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1140584

相关文章

Java NoClassDefFoundError运行时错误分析解决

《JavaNoClassDefFoundError运行时错误分析解决》在Java开发中,NoClassDefFoundError是一种常见的运行时错误,它通常表明Java虚拟机在尝试加载一个类时未能... 目录前言一、问题分析二、报错原因三、解决思路检查类路径配置检查依赖库检查类文件调试类加载器问题四、常见

Python中的Walrus运算符分析示例详解

《Python中的Walrus运算符分析示例详解》Python中的Walrus运算符(:=)是Python3.8引入的一个新特性,允许在表达式中同时赋值和返回值,它的核心作用是减少重复计算,提升代码简... 目录1. 在循环中避免重复计算2. 在条件判断中同时赋值变量3. 在列表推导式或字典推导式中简化逻辑

SpringBoot基于配置实现短信服务策略的动态切换

《SpringBoot基于配置实现短信服务策略的动态切换》这篇文章主要为大家详细介绍了SpringBoot在接入多个短信服务商(如阿里云、腾讯云、华为云)后,如何根据配置或环境切换使用不同的服务商,需... 目录目标功能示例配置(application.yml)配置类绑定短信发送策略接口示例:阿里云 & 腾

redis过期key的删除策略介绍

《redis过期key的删除策略介绍》:本文主要介绍redis过期key的删除策略,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录第一种策略:被动删除第二种策略:定期删除第三种策略:强制删除关于big key的清理UNLINK命令FLUSHALL/FLUSHDB命

Java程序进程起来了但是不打印日志的原因分析

《Java程序进程起来了但是不打印日志的原因分析》:本文主要介绍Java程序进程起来了但是不打印日志的原因分析,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Java程序进程起来了但是不打印日志的原因1、日志配置问题2、日志文件权限问题3、日志文件路径问题4、程序

Java 正则表达式URL 匹配与源码全解析

《Java正则表达式URL匹配与源码全解析》在Web应用开发中,我们经常需要对URL进行格式验证,今天我们结合Java的Pattern和Matcher类,深入理解正则表达式在实际应用中... 目录1.正则表达式分解:2. 添加域名匹配 (2)3. 添加路径和查询参数匹配 (3) 4. 最终优化版本5.设计思

Java字符串操作技巧之语法、示例与应用场景分析

《Java字符串操作技巧之语法、示例与应用场景分析》在Java算法题和日常开发中,字符串处理是必备的核心技能,本文全面梳理Java中字符串的常用操作语法,结合代码示例、应用场景和避坑指南,可快速掌握字... 目录引言1. 基础操作1.1 创建字符串1.2 获取长度1.3 访问字符2. 字符串处理2.1 子字

SpringRetry重试机制之@Retryable注解与重试策略详解

《SpringRetry重试机制之@Retryable注解与重试策略详解》本文将详细介绍SpringRetry的重试机制,特别是@Retryable注解的使用及各种重试策略的配置,帮助开发者构建更加健... 目录引言一、SpringRetry基础知识二、启用SpringRetry三、@Retryable注解

MySQL 分区与分库分表策略应用小结

《MySQL分区与分库分表策略应用小结》在大数据量、复杂查询和高并发的应用场景下,单一数据库往往难以满足性能和扩展性的要求,本文将详细介绍这两种策略的基本概念、实现方法及优缺点,并通过实际案例展示如... 目录mysql 分区与分库分表策略1. 数据库水平拆分的背景2. MySQL 分区策略2.1 分区概念

Python 迭代器和生成器概念及场景分析

《Python迭代器和生成器概念及场景分析》yield是Python中实现惰性计算和协程的核心工具,结合send()、throw()、close()等方法,能够构建高效、灵活的数据流和控制流模型,这... 目录迭代器的介绍自定义迭代器省略的迭代器生产器的介绍yield的普通用法yield的高级用法yidle