多亏我缓存技术过硬!疫情防控项目上线,我只用了5天!

2023-11-06 06:48

本文主要是介绍多亏我缓存技术过硬!疫情防控项目上线,我只用了5天!,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

先介绍下背景,我是武汉某O2O电商公司开发组长,疫情震中的我被老板要求7天之内上线《疫情防控热点图》项目,几个组员回老家断网,最终就2个人完成开发上线,满足了10w+用户的高频访问。时间和人力都紧张,不能按照常态模式开发,很多技术选型也跟平时迥异。本文为大家专题分享一下缓存在本项目中的使用和踩的几个典型的坑,希望对大家能有所帮助。

缓存Cache

缓存Cache是系统架构、性能优化的必备技能,也是新年跳槽季必考哦。核心思路就是把高频耗资源数据找个地方存储着,下次需要的时候直接使用,既能避免重复请求以降低压力,也能更快捷获取以提升性能。可能有小伙伴儿觉得疫情热点图要求实时更新,哪里用得上缓存?那你就太年轻了。本文一方面梳理下项目过程中各种缓存的原理、具体应用场景,踩过的坑和解决办法,另一方面也是希望抛砖引玉,欢迎大家多多,给予建议。

客户端缓存

按惯例,从前往后说。客户端缓存指的是让浏览器将一些数据缓存重用,避免重复请求。基本原理是利用Http协议缓存协商,在ResponseHeader里面指定下缓存策略即可,适合缓存一些静态资源。

本项目中用的非常多,各种css、js和小图标文件,都直接设置了30天缓存有效期,资源更新时,采用的是版本号缓存更新模式,直接在每个资源请求后面都带上了版本号,简单粗暴完成缓存更新。           

CND缓存&反向代理缓存

       CDN缓存和反向代理缓存的思路是差不多的,一个Http请求要经过DNS,要经过反向代理,那么在这两个环节加一层缓存也是必须的。不过由于项目开发周期短,7天就要求上线,CDN没折腾,反向代理缓存倒是立了大功。

项目的后端是3个Core WebApi服务实例构建的集群,用Nginx做的负载均衡,然后加了个缓存解决了一个高频场景,小区周边疫情热点图。用Url+小区Id作为key,直接缓存了整个动态页,有效期1小时。很多用户进来就是看下自己小区热点图然后关闭了,差不多拦截了40%的请求量,反向代理缓存效果不要太牛!

本地缓存&分布式缓存

两个都是服务端缓存,Asp.Net Core内置了MemoryCache作为本地缓存,也非常友好的支持了Redis分布式缓存,二者都是利用内存缓存数据重用以加快速度。由于后端是做的集群,为方便缓存共享,只用了Redis分布式缓存。

能缓存的数据就很多了,项目里几乎全部的数据都走了一遍缓存,即使是大家认为的实时数据,项目里面也是采用的双写方案,同步写数据库和Redis,查询直接走的Redis。此外,为减小数据写入压力,像用户登录、浏览记录、页面访问次数等即时信息也都是放在Redis里面的,满100次或者1h才同步一次数据库。

缓存的坑

       正常状况下的缓存使用还是挺简单的,最怕是遇到异常情况。这次项目不大,但是因为时间仓促,很多细节没处理好,几个缓存常见的坑都给踩了一遍。

       系统是在催促中上线的,没有经过任何缓存预热,直接公众号push了一波通知,流量短时间冲上去了,这时候Redis里面还是空的,请求直接都到数据库了,上线10分钟后就挂了。解决办法是快速写了个控制台,把数据访问了一遍,初始化到Redis里面完成缓存预热就可以了。

       

然而,填完这个坑,又引出了新的坑。缓存预热时没注意缓存有效期的设置,缓存预热时将数据的过期时间都设置成了4小时,结果在4小时之后大量缓存同时过期,请求都到数据库了,幸亏当时是晚上10点,数据库好歹没倒。火速把项目升级了一下,将过期时间做了个随机变化,避免因为同时过期而造成的缓存雪崩。

       最后是项目运行一周后,发现数据库的压力突然又上来了。通过日志排查发现是某个IP一直用一个不存在的数据Id高频访问(猜测是友商在测试),因为数据库没有这个数据,缓存总是无法命中,导致请求都穿透缓存到了数据库。解决办法也简单,缓存逻辑加了个key-null,没有数据也能缓存。

       上面整理了项目中各种缓存的基本原理和使用场景,也总结了自己踩的几个坑,希望能给大家一些帮助,也欢迎大家交流拍砖。具体的代码实现没法为大家一一展示(项目还在运营),不过我这里很用心的为大家推荐一个课程,是我最崇拜的Eleven老师讲的,文中关于缓存的方方面面都会覆盖到(本文也是应Eleven老师邀请写的),而且还是免费的哦!

  最后,体贴的Eleven老师还说了,要给大家准备一组预习资料,方便大家的学习,大家赶紧扫码加美女小助教领取免费预习资料咯。架构师之路,道阻且长,愿大家一起共同成长!

这篇关于多亏我缓存技术过硬!疫情防控项目上线,我只用了5天!的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/355063

相关文章

IntelliJ IDEA2025创建SpringBoot项目的实现步骤

《IntelliJIDEA2025创建SpringBoot项目的实现步骤》本文主要介绍了IntelliJIDEA2025创建SpringBoot项目的实现步骤,文中通过示例代码介绍的非常详细,对大家... 目录一、创建 Spring Boot 项目1. 新建项目2. 基础配置3. 选择依赖4. 生成项目5.

深度解析Java项目中包和包之间的联系

《深度解析Java项目中包和包之间的联系》文章浏览阅读850次,点赞13次,收藏8次。本文详细介绍了Java分层架构中的几个关键包:DTO、Controller、Service和Mapper。_jav... 目录前言一、各大包1.DTO1.1、DTO的核心用途1.2. DTO与实体类(Entity)的区别1

如何在Spring Boot项目中集成MQTT协议

《如何在SpringBoot项目中集成MQTT协议》本文介绍在SpringBoot中集成MQTT的步骤,包括安装Broker、添加EclipsePaho依赖、配置连接参数、实现消息发布订阅、测试接口... 目录1. 准备工作2. 引入依赖3. 配置MQTT连接4. 创建MQTT配置类5. 实现消息发布与订阅

springboot项目打jar制作成镜像并指定配置文件位置方式

《springboot项目打jar制作成镜像并指定配置文件位置方式》:本文主要介绍springboot项目打jar制作成镜像并指定配置文件位置方式,具有很好的参考价值,希望对大家有所帮助,如有错误... 目录一、上传jar到服务器二、编写dockerfile三、新建对应配置文件所存放的数据卷目录四、将配置文

怎么用idea创建一个SpringBoot项目

《怎么用idea创建一个SpringBoot项目》本文介绍了在IDEA中创建SpringBoot项目的步骤,包括环境准备(JDK1.8+、Maven3.2.5+)、使用SpringInitializr... 目录如何在idea中创建一个SpringBoot项目环境准备1.1打开IDEA,点击New新建一个项

Qt如何实现文本编辑器光标高亮技术

《Qt如何实现文本编辑器光标高亮技术》这篇文章主要为大家详细介绍了Qt如何实现文本编辑器光标高亮技术,文中的示例代码讲解详细,具有一定的借鉴价值,有需要的小伙伴可以了解下... 目录实现代码函数作用概述代码详解 + 注释使用 QTextEdit 的高亮技术(重点)总结用到的关键技术点应用场景举例示例优化建议

springboot项目中整合高德地图的实践

《springboot项目中整合高德地图的实践》:本文主要介绍springboot项目中整合高德地图的实践,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一:高德开放平台的使用二:创建数据库(我是用的是mysql)三:Springboot所需的依赖(根据你的需求再

一文详解如何在idea中快速搭建一个Spring Boot项目

《一文详解如何在idea中快速搭建一个SpringBoot项目》IntelliJIDEA作为Java开发者的‌首选IDE‌,深度集成SpringBoot支持,可一键生成项目骨架、智能配置依赖,这篇文... 目录前言1、创建项目名称2、勾选需要的依赖3、在setting中检查maven4、编写数据源5、开启热

SpringBoot项目配置logback-spring.xml屏蔽特定路径的日志

《SpringBoot项目配置logback-spring.xml屏蔽特定路径的日志》在SpringBoot项目中,使用logback-spring.xml配置屏蔽特定路径的日志有两种常用方式,文中的... 目录方案一:基础配置(直接关闭目标路径日志)方案二:结合 Spring Profile 按环境屏蔽关

MySQL版本问题导致项目无法启动问题的解决方案

《MySQL版本问题导致项目无法启动问题的解决方案》本文记录了一次因MySQL版本不一致导致项目启动失败的经历,详细解析了连接错误的原因,并提供了两种解决方案:调整连接字符串禁用SSL或统一MySQL... 目录本地项目启动报错报错原因:解决方案第一个:第二种:容器启动mysql的坑两种修改时区的方法:本地