111 记录一次 xxl-job 任务直接卡死两天

2024-04-15 11:36

本文主要是介绍111 记录一次 xxl-job 任务直接卡死两天,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

前言

呵呵 周末爆发的一波问题

然后 没办法 让周末解决, 先保存一个 堆栈信息, 和 堆dump信息 

然后 重启, 没问题了 

 

这个主要是最近碰到的一个问题

再 xxl-job 上面, 某任务 107, 手动执行 或者 自动执行 有触发日志, 但是没有 执行日志

通篇的效果类似于如下, 这个时间点 之后的所有任务 都是这个状态

从结果上来看 就是接下来之后的任务进入了 队列, 但是 因为是序列执行, 14:00 的时候这一次任务 一直再执行, 并且 一直未执行完成, 然后 导致 14:00 之后的任务 一直存在于 任务队列, 并未执行

2f6463a632bd4d6399d0e6b5f182fc43.png

 

 

问题的排查

首先要看的是 队列的任务的信息, 和 定时任务日志中记录的任务的信息

可以看到的是 170 的任务队列有 180 条数据, 其中 14:00 这一条正在执行, 其他的均在 任务队列

e7ebb3daedc540f1ad5a99a50706c672.png

 

堆 dump 中查看 TriggerParam 可以看到 180 个, 对应的就是 这一条正在执行的任务 和 179 个队列中的对象

07098b16acdb46d4bc30b9a1d8037b92.png

 

看一下 线程的执行情况, 可以看到的是 线程当前是在 发送请求, 并且 解析响应头的地方

这部分代码 是再工具代码中, 不过 可以稍微看一下

754677718f7b4400bcd75f96a853ff27.png

 

这部分的请求发送代码 大致如下, 执行中的任务是再 195 行

05fcba9e851545abaa0bbb5ade7cdd27.png

查看一下任务执行日志, 可以看到 14:00 的任务执行日志是存在的, 并且 有一句任务进入的输出

然后 14:15 的日志是没有的, 结合上面堆栈信息, 可以分析出 任务执行是再 14:00 执行, 并且 阻塞到现在

bf6d82beb03e4fb9be24638fd04cb7c5.png

 

我们还可以探查一下 查询参数, 这个可以通过 HttpURLConnection 的输出流进行解析

通过 HttpURLConnection 找到输出流, 找到对应的输出缓冲区, 采集这部分输出的字节, 然后进行 解析, 可以得到参数如下 {"areaCode":"61","startTime":"2023-07-13","endTime":"2023-07-13"} 

030dcd592f8b4d85a36e74db994f768b.png

 

看一下 HttpResponse 的状态

只设置了 url, method, 阻塞在设置 headers 的地方

ba4d2c830cd64eb392d93ee5dd6bf9f0.png

 

看一下 jstack, jmap 的 dump 时间

b06c092692ef4632ba2d53f6e03ff6b1.png

33d23629356e4e509b744932aa4cc0c5.png

 

 

网络数据读取这边的处理

根据 HttpURLConnection 找到对应的 HttpClient, 然后找到 对应的 BufferedInputStream

可以看到 从 SocketInputStream 获取数据就一直阻塞在 SocketInputStream.socketRead

a36b6f3242bd49e788895ecf92cec8c2.png

 

然后 传入的 timeout, 查询给定的 SocketInputStream 的 SocksSocketImpl 的信息, 可以看到 timeout 为 0, 表示 无限期等待

26ffa42710fa4f28b5e7148470386ee3.png

 

然后 这一系列现象 是可以证实 最上面的推导

呵呵 这也是一个 很奇葩的现象, 相当于这个请求从 13号14:00开始发送, 然后到 15号09点, 还阻塞在这里, 并且看样子 会一直阻塞

使用 jdk 的 java.net.URLConnection.getHeaderFields 阻塞住了, 不清楚是 对方服务存在问题, 还是什么 其他现象

但是 按正常情况来考虑, 应该会 抛出异常, 或者 超时才对

这种情况下, 客户端这边 手动设置一下 超时, 让其 超时抛出异常即可

 

 

完 

 

 

 

这篇关于111 记录一次 xxl-job 任务直接卡死两天的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/905710

相关文章

SpringBoot集成XXL-JOB实现任务管理全流程

《SpringBoot集成XXL-JOB实现任务管理全流程》XXL-JOB是一款轻量级分布式任务调度平台,功能丰富、界面简洁、易于扩展,本文介绍如何通过SpringBoot项目,使用RestTempl... 目录一、前言二、项目结构简述三、Maven 依赖四、Controller 代码详解五、Service

解决Nginx启动报错Job for nginx.service failed because the control process exited with error code问题

《解决Nginx启动报错Jobfornginx.servicefailedbecausethecontrolprocessexitedwitherrorcode问题》Nginx启... 目录一、报错如下二、解决原因三、解决方式总结一、报错如下Job for nginx.service failed bec

Linux系统管理与进程任务管理方式

《Linux系统管理与进程任务管理方式》本文系统讲解Linux管理核心技能,涵盖引导流程、服务控制(Systemd与GRUB2)、进程管理(前台/后台运行、工具使用)、计划任务(at/cron)及常用... 目录引言一、linux系统引导过程与服务控制1.1 系统引导的五个关键阶段1.2 GRUB2的进化优

Python多线程应用中的卡死问题优化方案指南

《Python多线程应用中的卡死问题优化方案指南》在利用Python语言开发某查询软件时,遇到了点击搜索按钮后软件卡死的问题,本文将简单分析一下出现的原因以及对应的优化方案,希望对大家有所帮助... 目录问题描述优化方案1. 网络请求优化2. 多线程架构优化3. 全局异常处理4. 配置管理优化优化效果1.

Python Flask实现定时任务的不同方法详解

《PythonFlask实现定时任务的不同方法详解》在Flask中实现定时任务,最常用的方法是使用APScheduler库,本文将提供一个完整的解决方案,有需要的小伙伴可以跟随小编一起学习一下... 目录完js整实现方案代码解释1. 依赖安装2. 核心组件3. 任务类型4. 任务管理5. 持久化存储生产环境

基于Spring Boot 的小区人脸识别与出入记录管理系统功能

《基于SpringBoot的小区人脸识别与出入记录管理系统功能》文章介绍基于SpringBoot框架与百度AI人脸识别API的小区出入管理系统,实现自动识别、记录及查询功能,涵盖技术选型、数据模型... 目录系统功能概述技术栈选择核心依赖配置数据模型设计出入记录实体类出入记录查询表单出入记录 VO 类(用于

java中pdf模版填充表单踩坑实战记录(itextPdf、openPdf、pdfbox)

《java中pdf模版填充表单踩坑实战记录(itextPdf、openPdf、pdfbox)》:本文主要介绍java中pdf模版填充表单踩坑的相关资料,OpenPDF、iText、PDFBox是三... 目录准备Pdf模版方法1:itextpdf7填充表单(1)加入依赖(2)代码(3)遇到的问题方法2:pd

Java中的xxl-job调度器线程池工作机制

《Java中的xxl-job调度器线程池工作机制》xxl-job通过快慢线程池分离短时与长时任务,动态降级超时任务至慢池,结合异步触发和资源隔离机制,提升高频调度的性能与稳定性,支撑高并发场景下的可靠... 目录⚙️ 一、调度器线程池的核心设计 二、线程池的工作流程 三、线程池配置参数与优化 四、总结:线程

WinForm跨线程访问UI及UI卡死的解决方案

《WinForm跨线程访问UI及UI卡死的解决方案》在WinForm开发过程中,跨线程访问UI控件和界面卡死是常见的技术难题,由于Windows窗体应用程序的UI控件默认只能在主线程(UI线程)上操作... 目录前言正文案例1:直接线程操作(无UI访问)案例2:BeginInvoke访问UI(错误用法)案例

Zabbix在MySQL性能监控方面的运用及最佳实践记录

《Zabbix在MySQL性能监控方面的运用及最佳实践记录》Zabbix通过自定义脚本和内置模板监控MySQL核心指标(连接、查询、资源、复制),支持自动发现多实例及告警通知,结合可视化仪表盘,可有效... 目录一、核心监控指标及配置1. 关键监控指标示例2. 配置方法二、自动发现与多实例管理1. 实践步骤