111 记录一次 xxl-job 任务直接卡死两天

2024-04-15 11:36

本文主要是介绍111 记录一次 xxl-job 任务直接卡死两天,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

前言

呵呵 周末爆发的一波问题

然后 没办法 让周末解决, 先保存一个 堆栈信息, 和 堆dump信息 

然后 重启, 没问题了 

 

这个主要是最近碰到的一个问题

再 xxl-job 上面, 某任务 107, 手动执行 或者 自动执行 有触发日志, 但是没有 执行日志

通篇的效果类似于如下, 这个时间点 之后的所有任务 都是这个状态

从结果上来看 就是接下来之后的任务进入了 队列, 但是 因为是序列执行, 14:00 的时候这一次任务 一直再执行, 并且 一直未执行完成, 然后 导致 14:00 之后的任务 一直存在于 任务队列, 并未执行

2f6463a632bd4d6399d0e6b5f182fc43.png

 

 

问题的排查

首先要看的是 队列的任务的信息, 和 定时任务日志中记录的任务的信息

可以看到的是 170 的任务队列有 180 条数据, 其中 14:00 这一条正在执行, 其他的均在 任务队列

e7ebb3daedc540f1ad5a99a50706c672.png

 

堆 dump 中查看 TriggerParam 可以看到 180 个, 对应的就是 这一条正在执行的任务 和 179 个队列中的对象

07098b16acdb46d4bc30b9a1d8037b92.png

 

看一下 线程的执行情况, 可以看到的是 线程当前是在 发送请求, 并且 解析响应头的地方

这部分代码 是再工具代码中, 不过 可以稍微看一下

754677718f7b4400bcd75f96a853ff27.png

 

这部分的请求发送代码 大致如下, 执行中的任务是再 195 行

05fcba9e851545abaa0bbb5ade7cdd27.png

查看一下任务执行日志, 可以看到 14:00 的任务执行日志是存在的, 并且 有一句任务进入的输出

然后 14:15 的日志是没有的, 结合上面堆栈信息, 可以分析出 任务执行是再 14:00 执行, 并且 阻塞到现在

bf6d82beb03e4fb9be24638fd04cb7c5.png

 

我们还可以探查一下 查询参数, 这个可以通过 HttpURLConnection 的输出流进行解析

通过 HttpURLConnection 找到输出流, 找到对应的输出缓冲区, 采集这部分输出的字节, 然后进行 解析, 可以得到参数如下 {"areaCode":"61","startTime":"2023-07-13","endTime":"2023-07-13"} 

030dcd592f8b4d85a36e74db994f768b.png

 

看一下 HttpResponse 的状态

只设置了 url, method, 阻塞在设置 headers 的地方

ba4d2c830cd64eb392d93ee5dd6bf9f0.png

 

看一下 jstack, jmap 的 dump 时间

b06c092692ef4632ba2d53f6e03ff6b1.png

33d23629356e4e509b744932aa4cc0c5.png

 

 

网络数据读取这边的处理

根据 HttpURLConnection 找到对应的 HttpClient, 然后找到 对应的 BufferedInputStream

可以看到 从 SocketInputStream 获取数据就一直阻塞在 SocketInputStream.socketRead

a36b6f3242bd49e788895ecf92cec8c2.png

 

然后 传入的 timeout, 查询给定的 SocketInputStream 的 SocksSocketImpl 的信息, 可以看到 timeout 为 0, 表示 无限期等待

26ffa42710fa4f28b5e7148470386ee3.png

 

然后 这一系列现象 是可以证实 最上面的推导

呵呵 这也是一个 很奇葩的现象, 相当于这个请求从 13号14:00开始发送, 然后到 15号09点, 还阻塞在这里, 并且看样子 会一直阻塞

使用 jdk 的 java.net.URLConnection.getHeaderFields 阻塞住了, 不清楚是 对方服务存在问题, 还是什么 其他现象

但是 按正常情况来考虑, 应该会 抛出异常, 或者 超时才对

这种情况下, 客户端这边 手动设置一下 超时, 让其 超时抛出异常即可

 

 

完 

 

 

 

这篇关于111 记录一次 xxl-job 任务直接卡死两天的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/905710

相关文章

mybatis直接执行完整sql及踩坑解决

《mybatis直接执行完整sql及踩坑解决》MyBatis可通过select标签执行动态SQL,DQL用ListLinkedHashMap接收结果,DML用int处理,注意防御SQL注入,优先使用#... 目录myBATiFBNZQs直接执行完整sql及踩坑select语句采用count、insert、u

Spring定时任务之fixedRateString的实现示例

《Spring定时任务之fixedRateString的实现示例》本文主要介绍了Spring定时任务之fixedRateString的实现示例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有... 目录从毫秒到 Duration:为何要改变?核心:Java.time.Duration.parse

docker编写java的jar完整步骤记录

《docker编写java的jar完整步骤记录》在平常的开发工作中,我们经常需要部署项目,开发测试完成后,最关键的一步就是部署,:本文主要介绍docker编写java的jar的相关资料,文中通过代... 目录all-docker/生成Docker打包部署文件配置服务A的Dockerfile (a/Docke

Oracle Scheduler任务故障诊断方法实战指南

《OracleScheduler任务故障诊断方法实战指南》Oracle数据库作为企业级应用中最常用的关系型数据库管理系统之一,偶尔会遇到各种故障和问题,:本文主要介绍OracleSchedul... 目录前言一、故障场景:当定时任务突然“消失”二、基础环境诊断:搭建“全局视角”1. 数据库实例与PDB状态2

MySQL使用EXISTS检查记录是否存在的详细过程

《MySQL使用EXISTS检查记录是否存在的详细过程》EXISTS是SQL中用于检查子查询是否返回至少一条记录的运算符,它通常用于测试是否存在满足特定条件的记录,从而在主查询中进行相应操作,本文给大... 目录基本语法示例数据库和表结构1. 使用 EXISTS 在 SELECT 语句中2. 使用 EXIS

SpringBoot集成XXL-JOB实现任务管理全流程

《SpringBoot集成XXL-JOB实现任务管理全流程》XXL-JOB是一款轻量级分布式任务调度平台,功能丰富、界面简洁、易于扩展,本文介绍如何通过SpringBoot项目,使用RestTempl... 目录一、前言二、项目结构简述三、Maven 依赖四、Controller 代码详解五、Service

解决Nginx启动报错Job for nginx.service failed because the control process exited with error code问题

《解决Nginx启动报错Jobfornginx.servicefailedbecausethecontrolprocessexitedwitherrorcode问题》Nginx启... 目录一、报错如下二、解决原因三、解决方式总结一、报错如下Job for nginx.service failed bec

Linux系统管理与进程任务管理方式

《Linux系统管理与进程任务管理方式》本文系统讲解Linux管理核心技能,涵盖引导流程、服务控制(Systemd与GRUB2)、进程管理(前台/后台运行、工具使用)、计划任务(at/cron)及常用... 目录引言一、linux系统引导过程与服务控制1.1 系统引导的五个关键阶段1.2 GRUB2的进化优

Python多线程应用中的卡死问题优化方案指南

《Python多线程应用中的卡死问题优化方案指南》在利用Python语言开发某查询软件时,遇到了点击搜索按钮后软件卡死的问题,本文将简单分析一下出现的原因以及对应的优化方案,希望对大家有所帮助... 目录问题描述优化方案1. 网络请求优化2. 多线程架构优化3. 全局异常处理4. 配置管理优化优化效果1.

Python Flask实现定时任务的不同方法详解

《PythonFlask实现定时任务的不同方法详解》在Flask中实现定时任务,最常用的方法是使用APScheduler库,本文将提供一个完整的解决方案,有需要的小伙伴可以跟随小编一起学习一下... 目录完js整实现方案代码解释1. 依赖安装2. 核心组件3. 任务类型4. 任务管理5. 持久化存储生产环境