Oracle Linux上使用MySQL卡死的问题处理(时间变化导致MySQL hung up)

2024-04-13 16:32
文章标签 oracle 变化 mysql linux 问题 使用 处理 时间 导致 database 卡死 hung

本文主要是介绍Oracle Linux上使用MySQL卡死的问题处理(时间变化导致MySQL hung up)，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

预先操作

  1. 打开MySQL的general log, 方便排查
    临时一次: mysql -uroot -p 进入，set global general_log='ON';
    永久: MySQL配置文件, /etc/my.cnf 在[mysqld]下添加 general-log=1
    默认日志位置: /var/lib/mysql/localhost.log

  2. 打开events_statements_history 历史语句事件表

    update performance_schema.setup_consumers set ENABLED = 'YES' where NAME='events_statements_history';

复现MySQL卡死的情形, 并检查相关日志, 处理问题

  1. mysql -uroot -p 进入MySQL

  2. 查看事务卡住前10秒的SQL语句信息

    mysql> SELECT ->     ps.id AS processlist_id,->     trx_started,->     trx_isolation_level,->     esh.EVENT_ID,->     esh.TIMER_WAIT,->     esh.event_name AS EVENT_NAME,->     esh.sql_text AS sql1,->     esh.RETURNED_SQLSTATE,->     esh.MYSQL_ERRNO,->     esh.MESSAGE_TEXT,->     esh.ERRORS,->     esh.WARNINGS-> FROM->     information_schema.innodb_trx trx->         JOIN->     information_schema.processlist ps ON trx.trx_mysql_thread_id = ps.id->         LEFT JOIN->     performance_schema.threads th ON th.processlist_id = trx.trx_mysql_thread_id->         LEFT JOIN->     performance_schema.events_statements_history esh ON esh.thread_id = th.thread_id-> WHERE->     trx.trx_started < CURRENT_TIME - INTERVAL 10 SECOND->         AND ps.USER != 'SYSTEM_USER'-> ORDER BY esh.EVENT_ID;

  3. 输入SHOW ENGINE INNODB STATUS\G, 查看是否有死锁, 是否有事务卡住

    本次异常部分:
    ------------
TRANSACTIONS
------------
---TRANSACTION 8548, ACTIVE 18 sec starting index read
mysql tables in use 1, locked 1
LOCK WAIT 2 lock struct(s), heap size 1136, 1 row lock(s)
MySQL thread id 100, OS thread handle 139649020675840, query id 5122 localhost vmi updating
UPDATE `django_session` SET `session_data` = 'session date', `expire_date` = '2019-12-02 06:22:38.968049' WHERE `django_session`.`session_key` = 'c6721mjofbqdc8fktku48ek1x16qbfbi'
------- TRX HAS BEEN WAITING 18 SEC FOR THIS LOCK TO BE GRANTED:
RECORD LOCKS space id 162 page no 4 n bits 72 index PRIMARY of table `vmi`.`django_session` trx id 8548 lock_mode X locks rec but not gap waiting
Record lock, heap no 6 PHYSICAL RECORD: n_fields 5; compact format; info bits 00: len 30; hex 63363732316d6a6f666271646338666b746b753438656b31783136716266; asc c6721mjofbqdc8fktku48ek1x16qbf; (total 32 bytes);1: len 6; hex 000000002162; asc     !b;;2: len 7; hex 0100000141137f; asc     A  ;;3: len 30; hex 5a5463314e4463775a544130596a63344e6a426a4d6a63324d446b795a57; asc ZTc1NDcwZTA0Yjc4NjBjMjc2MDkyZW; (total 252 bytes);4: len 8; hex 99a4c465a20b7899; asc    e  x ;;------------------
---TRANSACTION 8547, ACTIVE 19 sec starting index read
mysql tables in use 1, locked 1
LOCK WAIT 2 lock struct(s), heap size 1136, 1 row lock(s)
MySQL thread id 88, OS thread handle 139649022445312, query id 5119 localhost vmi updating
UPDATE `django_session` SET `session_data` = 'session data', `expire_date` = '2019-12-02 06:22:37.552609' WHERE `django_session`.`session_key` = 'c6721mjofbqdc8fktku48ek1x16qbfbi'
------- TRX HAS BEEN WAITING 19 SEC FOR THIS LOCK TO BE GRANTED:
RECORD LOCKS space id 162 page no 4 n bits 72 index PRIMARY of table `vmi`.`django_session` trx id 8547 lock_mode X locks rec but not gap waiting
Record lock, heap no 6 PHYSICAL RECORD: n_fields 5; compact format; info bits 00: len 30; hex 63363732316d6a6f666271646338666b746b753438656b31783136716266; asc c6721mjofbqdc8fktku48ek1x16qbf; (total 32 bytes);1: len 6; hex 000000002162; asc     !b;;2: len 7; hex 0100000141137f; asc     A  ;;3: len 30; hex 5a5463314e4463775a544130596a63344e6a426a4d6a63324d446b795a57; asc ZTc1NDcwZTA0Yjc4NjBjMjc2MDkyZW; (total 252 bytes);4: len 8; hex 99a4c465a20b7899; asc    e  x ;;------------------
---TRANSACTION 8546, ACTIVE (PREPARED) 22 sec
2 lock struct(s), heap size 1136, 1 row lock(s), undo log entries 1
MySQL thread id 96, OS thread handle 139649020970752, query id 5116 localhost vmi starting
commit
--------

    没有 LATEST DETECTED DEADLOCK 列, 只有TRANSACTIONS列, 且显示隔离级别已经是READ COMMITTED, 查询时不会锁表，不会导致update卡住。
    说明没有发生死锁，只是事务hung up.
    复制卡住的事务, 到general log 中搜索, 排查前后的SQL语句, 发现发生hung up的前后时间发生变化, 网上有资料显示时间变化会导致MySQL卡住.

排查时间变化的原因

  1. /var/log/message 日志中显示重启之后server有两次时间变化, 对比正常的server只有一次"Time has been changed", 这一次是执行启动之后的时间同步脚本产生的.

  2. 新建一台没有装我们服务的Oracle Linux Server, 发现每次reboot, Server都会有时间变化. 无论重启前是否设置硬件时间为系统时间hwclock --systohc.

    [root@localhost ~]# timedatectlLocal time: Wed 2019-12-04 16:44:49 CSTUniversal time: Wed 2019-12-04 08:44:49 UTC #国际统一时钟RTC time: Wed 2019-12-04 08:44:49 #硬件时钟Time zone: Asia/Shanghai (CST, +0800)NTP enabled: yes
NTP synchronized: yesRTC in local TZ: no DST active: n/a

    reboot之后Universal time会变, 改变时message里面的记录:

    Dec  3 17:46:59 localhost systemd-logind: Watching system buttons on /dev/input/event0 (Power Button)
Dec  3 17:46:59 localhost systemd-logind: New seat seat0.
Dec  3 17:46:59 localhost systemd: Started Dump dmesg to /var/log/dmesg.
Dec  3 17:46:59 localhost rsyslogd: [origin software="rsyslogd" swVersion="8.24.0" x-pid="6113" x-info="http://www.rsyslog.com"] start
Dec  3 17:46:59 localhost systemd: Started System Logging Service.
Dec  3 17:46:59 localhost systemd: Started Resets System Activity Logs.
Dec  3 17:46:59 localhost systemd: Started GSSAPI Proxy Daemon.
Dec  3 17:46:59 localhost systemd: Reached target NFS client services.
Dec  3 17:46:59 localhost systemd: Starting NFS client services.
Dec  3 17:46:59 localhost journal: Pref_Init: Using '/etc/vmware-tools/vgauth.conf' as preferences filepath
Dec  3 17:46:59 localhost polkitd[6122]: Started polkitd version 0.112
`Dec  3 17:46:59 localhost journal: Core dump limit set to -1`
`Dec  4 01:39:08 localhost systemd: Time has been changed`
Dec  4 01:39:08 localhost systemd: Started Authorization Manager.
Dec  4 01:39:08 localhost systemd: Starting firewalld - dynamic firewall daemon...
Dec  4 01:39:09 localhost systemd: Started firewalld - dynamic firewall daemon.
Dec  4 01:39:09 localhost systemd: Reached target Network (Pre).
Dec  4 01:39:09 localhost systemd: Starting Network (Pre).
Dec  4 01:39:09 localhost systemd: Dependency failed for Network Manager Wait Online.

    reboot之后，重启时系统时间改变(7小时52分)这个问题，目前没有找到原因。

解决办法:

  1. 在启动时再init.d中设置脚本, 先用ntpdate同步时间. 此方法有问题在于，不能控制脚本执行的时间在本身系统时间变化之后，所以不可行。

    • 自启动的服务:

      server1:~ # systemctl cat set_my_clock.service
# /usr/lib/systemd/system/set_my_clock.service
[Unit]
Description=Syncing system and hardware clock[Service]
Type=oneshot
ExecStart=/etc/init.d/set_my_clock start
ExecStop=/etc/init.d/set_my_clock stop
RemainAfterExit=true[Install]
WantedBy=basic.target

    • 开机自启动的脚本

      # cat /etc/init.d/set_my_clock
#!/bin/bash
set -x
case "$1" instart|stop)echo "Set Sys time according to Hardware Clock";# This will force sync the local system clock with NTP server/sbin/ntpdate -u 192.168.1.00 192.168.1.101;# This will sync our hwclock with the system clock time/sbin/hwclock --systohc;;;*)echo "Usage: $0 {start|stop}"exit 1;;
esacecho "done !"
exit 0

    1. 启用这个服务

      # systemctl enable set_my_clock.service

  2. 在同步时间之前先停止我们的服务，等到同步完成，再启动我们的服务。

    systemctl stop ntpd
SERVER=pool.ntp.org
if ntpdate -t 15 ${SERVER}; then # -t 15:超时时间为15秒echo "sync time succeed"
elseecho "sync time failed"
fi
hwclock --systohc #将硬件时钟调整为与目前的系统时钟一致。
systemctl start ntpd
brctl stp virbr0 off
timedatectl set-local-rtc 0 #0: 将你的硬件时钟设置为协调世界时（UTC）1: 将硬件时钟设置为本地时区：

这篇关于Oracle Linux上使用MySQL卡死的问题处理(时间变化导致MySQL hung up)的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/900639。

相关文章

MySQL 内存使用率常用分析语句

MySQL 内存使用率常用分析语句

《MySQL内存使用率常用分析语句》用户整理了MySQL内存占用过高的分析方法,涵盖操作系统层确认及数据库层bufferpool、内存模块差值、线程状态、performance_schema性能数据... 目录一、 OS层二、 DB层1. 全局情况2. 内存占js用详情最近连续遇到mysql内存占用过高导致
阅读更多...
Linux如何查看文件权限的命令

Linux如何查看文件权限的命令

《Linux如何查看文件权限的命令》Linux中使用ls-R命令递归查看指定目录及子目录下所有文件和文件夹的权限信息,以列表形式展示权限位、所有者、组等详细内容... 目录linux China编程查看文件权限命令输出结果示例这里是查看tomcat文件夹总结Linux 查看文件权限命令ls -l 文件或文件夹
阅读更多...
解决pandas无法读取csv文件数据的问题

解决pandas无法读取csv文件数据的问题

《解决pandas无法读取csv文件数据的问题》本文讲述作者用Pandas读取CSV文件时因参数设置不当导致数据错位,通过调整delimiter和on_bad_lines参数最终解决问题,并强调正确参... 目录一、前言二、问题复现1. 问题2. 通过 on_bad_lines=‘warn’ 跳过异常数据3
阅读更多...
Android Paging 分页加载库使用实践

Android Paging 分页加载库使用实践

《AndroidPaging分页加载库使用实践》AndroidPaging库是Jetpack组件的一部分,它提供了一套完整的解决方案来处理大型数据集的分页加载,本文将深入探讨Paging库... 目录前言一、Paging 库概述二、Paging 3 核心组件1. PagingSource2. Pager3.
阅读更多...
idea的终端(Terminal)cmd的命令换成linux的命令详解

idea的终端(Terminal)cmd的命令换成linux的命令详解

《idea的终端(Terminal)cmd的命令换成linux的命令详解》本文介绍IDEA配置Git的步骤：安装Git、修改终端设置并重启IDEA,强调顺序,作为个人经验分享,希望提供参考并支持脚本之... 目录一编程、设置前二、前置条件三、android设置四、设置后总结一、php设置前二、前置条件
阅读更多...
Python进行JSON和Excel文件转换处理指南

Python进行JSON和Excel文件转换处理指南

《Python进行JSON和Excel文件转换处理指南》在数据交换与系统集成中,JSON与Excel是两种极为常见的数据格式,本文将介绍如何使用Python实现将JSON转换为格式化的Excel文件,... 目录将 jsON 导入为格式化 Excel将 Excel 导出为结构化 JSON处理嵌套 JSON：
阅读更多...
解决RocketMQ的幂等性问题

解决RocketMQ的幂等性问题

《解决RocketMQ的幂等性问题》重复消费因调用链路长、消息发送超时或消费者故障导致,通过生产者消息查询、Redis缓存及消费者唯一主键可以确保幂等性,避免重复处理,本文主要介绍了解决RocketM... 目录造成重复消费的原因解决方法生产者端消费者端代码实现造成重复消费的原因当系统的调用链路比较长的时
阅读更多...
python使用try函数详解

python使用try函数详解

《python使用try函数详解》Pythontry语句用于异常处理,支持捕获特定/多种异常、else/final子句确保资源释放,结合with语句自动清理,可自定义异常及嵌套结构,灵活应对错误场景... 目录try 函数的基本语法捕获特定异常捕获多个异常使用 else 子句使用 finally 子句捕获所
阅读更多...
Mysql中设计数据表的过程解析

Mysql中设计数据表的过程解析

《Mysql中设计数据表的过程解析》数据库约束通过NOTNULL、UNIQUE、DEFAULT、主键和外键等规则保障数据完整性,自动校验数据,减少人工错误,提升数据一致性和业务逻辑严谨性,本文介绍My... 目录1.引言2.NOT NULL——制定某列不可以存储NULL值2.UNIQUE——保证某一列的每一
阅读更多...
解密SQL查询语句执行的过程

解密SQL查询语句执行的过程

《解密SQL查询语句执行的过程》文章讲解了SQL语句的执行流程,涵盖解析、优化、执行三个核心阶段,并介绍执行计划查看方法EXPLAIN,同时提出性能优化技巧如合理使用索引、避免SELECT*、JOIN... 目录1. SQL语句的基本结构2. SQL语句的执行过程3. SQL语句的执行计划4. 常见的性能优
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2