一个100%CPU占用率，但是线程名混乱和top不准问题定位过程

2024-02-20 14:38
文章标签 问题 线程 过程 定位 cpu top 100% 占用率 不准 混乱

本文主要是介绍一个100%CPU占用率，但是线程名混乱和top不准问题定位过程，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

关键词：task_newtask、task_rename、process tree、top等。
有一个场景CPU占用率100%，同时进程下创建了一大堆线程，很多线程同样的名称。
而且存在一个情况，top查看所有进程占用率要远小于100%。
这里有两个问题，
一是线程同名问题，由于程序设计之初没有考虑线程名问题，导致无法根据把线程名和业务联系起来；而且通过top/pstree能看到的这是进程和线程的父子关系。
二是，这些丢失的CPU占用率究竟哪里去了？

1. 获取进程下所有线程的树形结构

这一步很关键，因为很多系统中线程的创建非常频繁，而且处理完任务，快速退出。
常用的工具top和pstree等，对线程之间的父子关系是没有显示的，只明确了进程和线程的父子关系。
这里借助/sys/kernel/debug/tracing/events/task/下的task_newtask和task_rename，这两者分别创建线程，然后对线程改名。
有了这两个trace events，就可以记录新创建的线程，新创建的线程和父线程同名，然后通过task_rename进行名称修改，常用的是prctl()。

1.1 抓取task_newtask和task_rename数据

通过trace event抓取到的数据如下，task_newtask详细记录了线程由谁创建(父线程)、创建了谁(子线程)、名称是什么(子线程名)，然后task_rename详细记录了哪个线程由什么旧名称改成了什么新名称

 sh-153   [000] ....    53.734695: task_newtask: pid=165 comm=sh clone_flags=1200011 oom_score_adj=0cat-165   [000] ...1    53.738804: task_rename: pid=165 oldcomm=sh newcomm=cat oom_score_adj=0sh-153   [000] ....    84.638270: task_newtask: pid=166 comm=sh clone_flags=1200011 oom_score_adj=0xchip_runtime-166   [000] ...1    84.645910: task_rename: pid=166 oldcomm=sh newcomm=xchip_runtime oom_score_adj=0xchip_runtime-166   [000] ....    85.098260: task_newtask: pid=167 comm=xchip_runtime clone_flags=3d0f00 oom_score_adj=0Log2Hostflush-167   [000] ...1    85.099145: task_rename: pid=167 oldcomm=xchip_runtime newcomm=Log2Hostflush oom_score_adj=0xchip_runtime-166   [000] ....    85.133881: task_newtask: pid=168 comm=xchip_runtime clone_flags=3d0f00 oom_score_adj=0usb_server_list-168   [000] ...1    85.134077: task_rename: pid=168 oldcomm=xchip_runtime newcomm=usb_server_list oom_score_adj=0usb_server_list-168   [000] ....   116.497292: task_newtask: pid=169 comm=usb_server_list clone_flags=3d0f00 oom_score_adj=0coreComm-169   [000] ...1   116.501998: task_rename: pid=169 oldcomm=usb_server_list newcomm=coreComm oom_score_adj=0usb_server_list-168   [000] ....   116.514232: task_newtask: pid=170 comm=usb_server_list clone_flags=3d0f00 oom_score_adj=0

请问下怎么通过trace event抓取到/sys/kernel/debug/tracing/events/task/task_newtask的数据

echo 1 > /sys/kernel/debug/tracing/events/enable
/sys/kernel/debug/tracing/events/task/task_newtask enble
echo 1 > /sys/kernel/debug/tracing/tracing_on
cat /sys/kernel/debug/tracing/trace > /sdcard/trace.txt

cat /sys/kernel/debug/tracing/trace|grep -E 'task_rename|task_newtask'

1.2 脚本分析生成线程树形结构

在jupyter-notebook中读取trace.txt文件，然后从中提取关键信息，pid、comm、父pid、子pid列表。
以pid为字典键值，分析过程如下。

import reprocess_tree = {}
ap_trace_file = open('/home/al/trace.txt', 'rb')
for line in ap_trace_file:ftrace_line_fmt = \' *(?P<proc>.*)-(?P<pid>[0-9]*) *\[(?P<cpu>[0-9]*)\] *'+\'(?P<flags>.{4}) *(?P<ktime>[0-9\.]*): *'+\'(?P<msg>.*)'m = re.match(ftrace_line_fmt, line)if(not m):continueproc = m.group('proc')pid = m.group('pid')msg = m.group('msg')if (not process_tree.has_key(pid)):process_tree[pid] = {'comm':proc, 'child':[], 'father':0}#Analyze task_newtask.#task_newtask: pid=165 comm=sh clone_flags=1200011 oom_score_adj=0task_newtask_fmt = 'task_newtask: pid=(?P<cpid>[0-9]*) comm=(?P<comm>.*) clone_flags.*'m = re.match(task_newtask_fmt, msg)if(m):cpid = m.group('cpid')comm = m.group('comm')#print pid, cpid, comm#process_tree.update({cpid:{'child':[], 'comm':comm}})process_tree[pid]['child'].append(cpid)if(not process_tree.has_key(cpid)):process_tree[cpid] = {'comm':comm, 'child':[], 'father':pid}#Analyze task_rename.#task_rename: pid=170 oldcomm=usb_server_list newcomm=adapter oom_score_adj=0task_rename_fmt = 'task_rename: pid=(?P<cpid>[0-9]*) oldcomm=(?P<oldcomm>.*) newcomm=(?P<newcomm>.*) oom_score_adj.*'m = re.match(task_rename_fmt, msg)if(m):cpid = m.group('cpid')oldcomm = m.group('oldcomm')newcomm = m.group('newcomm')process_tree[cpid]['comm'] = newcomm#print cpid, oldcomm, newcomm
ap_trace_file.close()

然后根据process_tree解析结果，显示成树形结构：

for key, item in process_tree.items():if ( item['father'] == 0 ):print item['comm']+':'+keyfor child1 in item['child']:print "    |-2-"+process_tree[child1]['comm']+':'+child1for child2 in process_tree[child1]['child']:print "        |-3-"+process_tree[child2]['comm']+':'+child2for child3 in process_tree[child2]['child']:print "            |-4-"+process_tree[child3]['comm']+':'+child3for child4 in process_tree[child3]['child']:print "                |-5-"+process_tree[child4]['comm']+':'+child4for child5 in process_tree[child4]['child']:print "                    |-6-"+process_tree[child5]['comm']+':'+child5for child6 in process_tree[child5]['child']:print "                        |-7-"+process_tree[child6]['comm']+':'+child6for child7 in process_tree[child6]['child']:print "                            |-8-"+process_tree[child7]['comm']+':'+child7

最终输出结果如下。

这里可以看出xchip_runtime下所有线程的创建轨迹，以及其父子关系。

sh:153|-2-cat:165|-2-xchip_runtime:166|-3-Log2Hostflush:167|-3-usb_server_list:168|-4-coreComm:169|-4-adapter:170|-4-usb_server_list:171|-4-sh:172|-5-fp_download_tes:173|-6-sh:174|-7-find:175|-7-awk:176|-6-sh:177|-7-rm:178|-4-usb_server_list:179|-5-usb_server_list:202|-5-usb_server_list:203
...|-5-usb_server_list:2851|-5-usb_server_list:2852|-4-usb_server_list:180|-4-p2p_rx_task:181|-4-IFMS_Init:182|-4-omx_main:183|-5-omx_g1_output:218|-4-src:src:184|-5-omxdec:src:219|-4-iccsrc_rx:185|-4-usb_server_list:186|-4-p2p_rx_task:187|-4-omx_main:188|-5-omx_g1_output:192|-4-src:src:189|-5-omxdec:src:193|-4-iccsrc_rx:190|-4-usb_server_list:191|-4-p2p_rx_task:194|-4-omx_main:195|-5-omx_g1_output:199|-4-src:src:196|-5-omxdec:src:200|-4-iccsrc_rx:197|-4-usb_server_list:198|-4-p2p_rx_task:201|-4-omx_main:228|-5-omx_g1_output:240|-4-src:src:229|-5-omxdec:src:241|-4-iccsrc_rx:230|-4-usb_server_list:235|-2-top:646|-2-pidof:1873|-2-top:1907|-2-cat:2830

2. 单线程or多线程执行

根据usb_server_list:179线程的创建线程数量和频率，结合功能就可以判定其对应关系。
线程占用率低于100%的原因，可能是由于usb_server_list创建的子线程频繁创建并快速退出。
在top采样周期内并不能完成的存在，这些线程所占用的CPU资源，在总和中得到了统计，但是在top显示具体进程/线程的时候无法统计到。
为了验证构造两个不同的应用，启动一个周期性timer，频率可调整。
然后一个应用顺序执行四个任务，另一个应用分别启动四个线程执行四个任务。
通过top查看其CPU占用率。

2.1 测试程序

创建四个线程分别执行任务：

#include <pthread.h>
#include <unistd.h>
#include <thread>
#include <stdio.h>
#include <time.h>
#include <stdlib.h>
#include <signal.h>
#include <string.h>unsigned int count = 0;
#define LOOP_COUNT 40000void thread_fn(void)
{unsigned int i, a;for(i = 0; i < LOOP_COUNT; i++) {a++;}
}void timer_thread(union sigval v)
{std::thread thread1, thread2, thread3, thread4;//printf("pthread count=%d.\n", count++);thread1 = std::thread(thread_fn);thread2 = std::thread(thread_fn);thread3 = std::thread(thread_fn);thread4 = std::thread(thread_fn);thread1.join();thread2.join();thread3.join();thread4.join();
}int main(int argc, char** argv)
{timer_t timerid = 0;struct itimerspec it;struct sigevent evp;memset(&evp, 0, sizeof(struct sigevent));evp.sigev_value.sival_int = 111;evp.sigev_notify = SIGEV_THREAD;evp.sigev_notify_function = timer_thread;if (timer_create(CLOCK_REALTIME, &evp, &timerid) == -1)  {  perror("fail to timer_create");  return -1;;  }  printf("timer_create timerid = %d\n", timerid);it.it_interval.tv_sec = 0;it.it_interval.tv_nsec = atoi(argv[1]);  it.it_value.tv_sec = 1;it.it_value.tv_nsec = 0;  if (timer_settime(&timerid, 0, &it, NULL) == -1)  {  perror("fail to timer_settime");  return -1;}  while(1) {sleep(1);}return 0;
}

编译如下：

csky-abiv2-linux-g++ pthread_4simu.cc -o pthread_4simu -lpthread --std=c++11 -lrt

创建顺序执行四个任务：

#include <pthread.h>
#include <unistd.h>
#include <thread>
#include <stdio.h>
#include <time.h>
#include <stdlib.h>
#include <signal.h>
#include <string.h>unsigned int count = 0;
#define LOOP_COUNT 40000void thread_fn(void)
{unsigned int i, a;for(i = 0; i < LOOP_COUNT; i++) {a++;}
}void timer_thread(union sigval v)
{//printf("loop count=%d.\n", count++);thread_fn();thread_fn();thread_fn();thread_fn();
}int main(int argc, char** argv)
{timer_t timerid = 0;struct itimerspec it;struct sigevent evp;memset(&evp, 0, sizeof(struct sigevent));evp.sigev_value.sival_int = 111;evp.sigev_notify = SIGEV_THREAD;evp.sigev_notify_function = timer_thread;if (timer_create(CLOCK_REALTIME, &evp, &timerid) == -1)  {  perror("fail to timer_create");  return -1;;  }  printf("timer_create timerid = %d\n", timerid);it.it_interval.tv_sec = 0;it.it_interval.tv_nsec = atoi(argv[1]);  it.it_value.tv_sec = 1;it.it_value.tv_nsec = 0;  if (timer_settime(&timerid, 0, &it, NULL) == -1)  {  perror("fail to timer_settime");  return -1;}  while(1) {sleep(1);}return 0;
}

编译如下：

csky-abiv2-linux-g++ loop.cc -o loop -lrt

2.2 测试结果

分别采用不同周期(5ms、10ms、25ms、40ms、100ms)，对两种方式进行测试结果如下
https://www.cnblogs.com/arnoldlu/p/12112225.html
说明起线程执行任务，开销还是存在的；在新建线程数量较小情况下，对CPU占用率影响较低。但是随着新建线程数量增加，对CPU占用率的影响会越来越明显，严重时系统调度能力会下降。

3. 解决方法

针对线程名混乱的情况，在有了线程树形结构之后，结合代码比较容易找到入口点，修改线程名称prctl()/pthread_setname_np()。

修改usb_server_list:179的处理方式，改成单线程处理任务。一是降低系统线程创建销毁的开销，二是让top统计CPU占用率更加准确。

有了这两者，就可以明确线程占用率和功能对应关系，进入具体线程进行分析。

这篇关于一个100%CPU占用率，但是线程名混乱和top不准问题定位过程的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/728549。

相关文章

JDK21对虚拟线程的几种用法实践指南

JDK21对虚拟线程的几种用法实践指南

《JDK21对虚拟线程的几种用法实践指南》虚拟线程是Java中的一种轻量级线程,由JVM管理,特别适合于I/O密集型任务,：本文主要介绍JDK21对虚拟线程的几种用法,文中通过代码介绍的非常详细,... 目录一、参考官方文档二、什么是虚拟线程三、几种用法1、Thread.ofVirtual().start(
阅读更多...
Java 虚拟线程的创建与使用深度解析

Java 虚拟线程的创建与使用深度解析

《Java虚拟线程的创建与使用深度解析》虚拟线程是Java19中以预览特性形式引入,Java21起正式发布的轻量级线程,本文给大家介绍Java虚拟线程的创建与使用,感兴趣的朋友一起看看吧... 目录一、虚拟线程简介1.1 什么是虚拟线程？1.2 为什么需要虚拟线程？二、虚拟线程与平台线程对比代码对比示例：三
阅读更多...
IDEA和GIT关于文件中LF和CRLF问题及解决

IDEA和GIT关于文件中LF和CRLF问题及解决

《IDEA和GIT关于文件中LF和CRLF问题及解决》文章总结：因IDEA默认使用CRLF换行符导致Shell脚本在Linux运行报错,需在编辑器和Git中统一为LF,通过调整Git的core.aut... 目录问题描述问题思考解决过程总结问题描述项目软件安装shell脚本上git仓库管理，但拉取后，上l
阅读更多...
Redis中Hash从使用过程到原理说明

Redis中Hash从使用过程到原理说明

《Redis中Hash从使用过程到原理说明》RedisHash结构用于存储字段-值对,适合对象数据,支持HSET、HGET等命令,采用ziplist或hashtable编码,通过渐进式rehash优化... 目录一、开篇：Hash就像超市的货架二、Hash的基本使用1. 常用命令示例2. Java操作示例三
阅读更多...
Redis中Set结构使用过程与原理说明

Redis中Set结构使用过程与原理说明

《Redis中Set结构使用过程与原理说明》本文解析了RedisSet数据结构,涵盖其基本操作（如添加、查找）、集合运算（交并差）、底层实现（intset与hashtable自动切换机制）、典型应用场... 目录开篇：从购物车到Redis Set一、Redis Set的基本操作1.1 编程常用命令1.2 集
阅读更多...
Linux下利用select实现串口数据读取过程

Linux下利用select实现串口数据读取过程

《Linux下利用select实现串口数据读取过程》文章介绍Linux中使用select、poll或epoll实现串口数据读取,通过I/O多路复用机制在数据到达时触发读取,避免持续轮询,示例代码展示设... 目录示例代码（使用select实现）代码解释总结在 linux 系统里，我们可以借助 select、
阅读更多...
k8s中实现mysql主备过程详解

k8s中实现mysql主备过程详解

《k8s中实现mysql主备过程详解》文章讲解了在K8s中使用StatefulSet部署MySQL主备架构,包含NFS安装、storageClass配置、MySQL部署及同步检查步骤,确保主备数据一致... 目录一、k8s中实现mysql主备1.1 环境信息1.2 部署nfs-provisioner1.2.
阅读更多...
idea npm install很慢问题及解决(nodejs)

idea npm install很慢问题及解决(nodejs)

《ideanpminstall很慢问题及解决(nodejs)》npm安装速度慢可通过配置国内镜像源（如淘宝）、清理缓存及切换工具解决,建议设置全局镜像（npmconfigsetregistryht... 目录idea npm install很慢(nodejs)配置国内镜像源清理缓存总结idea npm in
阅读更多...
pycharm跑python项目易出错的问题总结

pycharm跑python项目易出错的问题总结

《pycharm跑python项目易出错的问题总结》：本文主要介绍pycharm跑python项目易出错问题的相关资料,当你在PyCharm中运行Python程序时遇到报错,可以按照以下步骤进行排... 1. 一定不要在pycharm终端里面创建环境安装别人的项目子模块等，有可能出现的问题就是你不报错都安装
阅读更多...
Java 线程池+分布式实现代码

Java 线程池+分布式实现代码

《Java线程池+分布式实现代码》在Java开发中,池通过预先创建并管理一定数量的资源,避免频繁创建和销毁资源带来的性能开销,从而提高系统效率,：本文主要介绍Java线程池+分布式实现代码,需要... 目录1. 线程池1.1 自定义线程池实现1.1.1 线程池核心1.1.2 代码示例1.2 总结流程2. J
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2