记一次请求暴增导致的线上问题

2023-12-23 16:32

本文主要是介绍记一次请求暴增导致的线上问题,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

项目推广了一次直播秒杀活动,没有预估到请求量会这么大,出现了一次惨烈的线上事故

过程:

先是部分接口去查询数据库导致mysql出现压力,读写分离的从库经不住读的压力,cpu100%

数据库紧急扩容,增加从库,mysql压力降低

报错:org.springframework.jdbc.CannotGetJdbcConnectionException:Failed to obtain JDBC Connection

接着项目服务器访问量激增导致宕机

(1)报错java.io.IOException: Too many open files

https://www.cnblogs.com/kongzhongqijing/articles/3735664.html

https://blog.csdn.net/luckykapok918/article/details/76914834

(2)报错c.d.common.exception.RRExceptionHandler: java.io.IOException: Broken pipe

https://blog.csdn.net/NathanniuBee/article/details/101436205

https://blog.csdn.net/zqz_zqz/article/details/52235479

(3)Caused by: java.io.IOException: Server returned HTTP response code: 504 for URL

(4)Caused by: java.io.IOException: Server returned HTTP response code: 502 for URL:

紧急加了一些服务器后,服务器请求压力降低
 

但是走缓存的页面加载还是慢,查询redis指标,发现压力正常,个人猜测是mq长链接一直在消耗服务器资源,还是需要完善监控系统,方便后期排查问题

rabbitmq连接池爆满

报错:org.springframework.amqp.AmqpConnectException: java.net.ConnectException: Connection refused

前期并发导致的遗留问题:rabbitmq生产了一些错误数据,自动应答导致错误消息一直重试,unack问题需要解决

后期rabbitmq代码需调整为手动应答

报错:org.springframework.amqp.rabbit.listener.exception.ListenerExecutionFailedException:Listener method 'public void com.daoism.app.mq.component.BuyOrderReceiver.handle(java.lang.String)' threw exception

这篇关于记一次请求暴增导致的线上问题的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/528686

相关文章

Windows环境下解决Matplotlib中文字体显示问题的详细教程

《Windows环境下解决Matplotlib中文字体显示问题的详细教程》本文详细介绍了在Windows下解决Matplotlib中文显示问题的方法,包括安装字体、更新缓存、配置文件设置及编码調整,并... 目录引言问题分析解决方案详解1. 检查系统已安装字体2. 手动添加中文字体(以SimHei为例)步骤

SpringSecurity整合redission序列化问题小结(最新整理)

《SpringSecurity整合redission序列化问题小结(最新整理)》文章详解SpringSecurity整合Redisson时的序列化问题,指出需排除官方Jackson依赖,通过自定义反序... 目录1. 前言2. Redission配置2.1 RedissonProperties2.2 Red

nginx 负载均衡配置及如何解决重复登录问题

《nginx负载均衡配置及如何解决重复登录问题》文章详解Nginx源码安装与Docker部署,介绍四层/七层代理区别及负载均衡策略,通过ip_hash解决重复登录问题,对nginx负载均衡配置及如何... 目录一:源码安装:1.配置编译参数2.编译3.编译安装 二,四层代理和七层代理区别1.二者混合使用举例

怎样通过分析GC日志来定位Java进程的内存问题

《怎样通过分析GC日志来定位Java进程的内存问题》:本文主要介绍怎样通过分析GC日志来定位Java进程的内存问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、GC 日志基础配置1. 启用详细 GC 日志2. 不同收集器的日志格式二、关键指标与分析维度1.

Java 线程安全与 volatile与单例模式问题及解决方案

《Java线程安全与volatile与单例模式问题及解决方案》文章主要讲解线程安全问题的五个成因(调度随机、变量修改、非原子操作、内存可见性、指令重排序)及解决方案,强调使用volatile关键字... 目录什么是线程安全线程安全问题的产生与解决方案线程的调度是随机的多个线程对同一个变量进行修改线程的修改操

Redis出现中文乱码的问题及解决

《Redis出现中文乱码的问题及解决》:本文主要介绍Redis出现中文乱码的问题及解决,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1. 问题的产生2China编程. 问题的解决redihttp://www.chinasem.cns数据进制问题的解决中文乱码问题解决总结

全面解析MySQL索引长度限制问题与解决方案

《全面解析MySQL索引长度限制问题与解决方案》MySQL对索引长度设限是为了保持高效的数据检索性能,这个限制不是MySQL的缺陷,而是数据库设计中的权衡结果,下面我们就来看看如何解决这一问题吧... 目录引言:为什么会有索引键长度问题?一、问题根源深度解析mysql索引长度限制原理实际场景示例二、五大解决

Springboot如何正确使用AOP问题

《Springboot如何正确使用AOP问题》:本文主要介绍Springboot如何正确使用AOP问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录​一、AOP概念二、切点表达式​execution表达式案例三、AOP通知四、springboot中使用AOP导出

Python中Tensorflow无法调用GPU问题的解决方法

《Python中Tensorflow无法调用GPU问题的解决方法》文章详解如何解决TensorFlow在Windows无法识别GPU的问题,需降级至2.10版本,安装匹配CUDA11.2和cuDNN... 当用以下代码查看GPU数量时,gpuspython返回的是一个空列表,说明tensorflow没有找到

解决未解析的依赖项:‘net.sf.json-lib:json-lib:jar:2.4‘问题

《解决未解析的依赖项:‘net.sf.json-lib:json-lib:jar:2.4‘问题》:本文主要介绍解决未解析的依赖项:‘net.sf.json-lib:json-lib:jar:2.4... 目录未解析的依赖项:‘net.sf.json-lib:json-lib:jar:2.4‘打开pom.XM