写在前面本文看下CPU使用率相关内容。1Linux是如何维护CPU时间的如何查看CPU使用率?1.1Linux是如何维护CPU时间的先来看下节拍率的概念通过HZ表示一般是1002501000这样的值如下查看rootdongyunqi:/home/dongyunqi/study/jdk1.8.0_152/jdk8u482-b08# grep CONFIG_HZ /boot/config-$(uname -r) CONFIG_HZ1000代表每秒会发生1000次切换这每一次切换是一次中断两次中断之间的时间叫做一个滴答即tick。那么cpu时间片和tick是什么关系呢是这样子的linux会将时间片定义为tick的整数值比如一个时间片等于3*tick这个时候一个CPU时间片的长度就是3毫秒了。那CPU时间是通过时间片切换次数再换算成滴答数从而得到运行时间的吗不是的因为这样计算的结果误差太大了。试想下CPU时间只能以毫秒为单位力度也太大了。其实CPU时间的计算在linux中是通过TSC,即time stamp counter来计算的其计算的精度更高可以到纳秒级精度很高很高了。那么该如何查看CPU时间通过命令cat /proc/stat | grep ^cpu可以看整个系统的CPU时间如下:rootdongyunqi:/home/dongyunqi/study# cat /proc/stat | grep ^cpu cpu 1935124 1976 5114477 4277863 2086 0 20396 0 0 0 cpu0 1935124 1976 5114477 4277863 2086 0 20396 0 0 0每一列的含义如下user通常缩写为 us代表用户态 CPU 时间。注意它不包括下面的 nice 时间但包括了 guest 时间。 nice通常缩写为 ni代表低优先级用户态 CPU 时间也就是进程的 nice 值被调整为 1-19 之间时的 CPU 时间。这里注意nice 可取值范围是 -20 到 19数值越大优先级反而越低。 system通常缩写为 sys代表内核态 CPU 时间。 idle通常缩写为 id代表空闲时间。注意它不包括等待 I/O 的时间iowait。 iowait通常缩写为 wa代表等待 I/O 的 CPU 时间。 irq通常缩写为 hi代表处理硬中断的 CPU 时间。 softirq通常缩写为 si代表处理软中断的 CPU 时间。 steal通常缩写为 st代表当系统运行在虚拟机中的时候被其他虚拟机占用的 CPU 时间。 guest通常缩写为 guest代表通过虚拟化运行其他操作系统的时间也就是运行虚拟机的 CPU 时间。 guest_nice通常缩写为 gnice代表以低优先级运行虚拟机的时间。当然一般我们更关心的是进程的CPU时间可以通过/proc/[pid]/stat查看。1.2如何查看CPU使用率?我们知道了可以通过查看相关的系统数据来获取不同状态的CPU时间那么当我们要计算的时候难道要自己来计算吗这也太麻烦了当然不用Linux已经给我们准备好了各种命令了比如最常用的top以及pidstat等。^Crootdongyunqi:/home/dongyunqi/study# pidstat 5 1 Linux 6.8.0-106-generic (dongyunqi) 04/03/2026 _x86_64_ (1 CPU) 05:34:43 PM UID PID %usr %system %guest %wait %CPU CPU Command 05:34:48 PM 0 6253 0.00 0.20 0.00 0.20 0.20 0 kworker/u256:2-events_power_efficient 05:34:48 PM 0 6273 0.00 0.20 0.00 0.00 0.20 0 kworker/0:2-events 05:34:48 PM 0 6363 0.00 0.60 0.00 0.00 0.60 0 pidstat Average: UID PID %usr %system %guest %wait %CPU CPU Command Average: 0 6253 0.00 0.20 0.00 0.20 0.20 - kworker/u256:2-events_power_efficient Average: 0 6273 0.00 0.20 0.00 0.00 0.20 - kworker/0:2-events Average: 0 6363 0.00 0.60 0.00 0.00 0.60 - pidstat2实战CPU问题排查我们准备如下的程序packagedongshi.daddy.zhengxi;importjava.util.ArrayList;importjava.util.List;importjava.util.Random;publicclassManyCpu{privatestaticListLongmyListnewArrayList();publicstaticvoidmain(String[]args){newThread(()-{while(true){intaa88888888newRandom().nextInt(10000);intbb98888888newRandom().nextInt(10000);System.out.println(aa*bb);System.out.println((aa1)*bb);System.out.println(aa*(bb1));}},thread-testmanycpu).start();}}编译运行rootdongyunqi:/home/dongyunqi/study# javac -d . ManyCpu.java rootdongyunqi:/home/dongyunqi/study# ls cpu_stress.sh dongshi jdk1.8.0_152 ManyCpu.java packages rootdongyunqi:/home/dongyunqi/study# java dongshi.daddy.zhengxi.ManyCpu使用pidstat查看cpu使用率rootdongyunqi:/home/dongyunqi# top top - 17:47:35 up 1 day, 8:13, 6 users, load average: 1.71, 1.07, 1.00 Tasks: 230 total, 1 running, 229 sleeping, 0 stopped, 0 zombie %Cpu(s): 98.0 us, 2.0 sy, 0.0 ni, 0.0 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st MiB Mem : 1920.3 total, 292.8 free, 509.6 used, 1296.7 buff/cache MiB Swap: 1899.0 total, 1898.7 free, 0.3 used. 1410.7 avail Mem PID USER PR NI VIRT RES SHR S %CPU %MEM TIME COMMAND 6723 root 20 0 2375824 41948 16852 S 98.7 2.1 1:26.84 java ...可以看到我们的Java进程已经占用了98.7%的CPU了接着来看下进程中哪个线程占用了CPUrootdongyunqi:/home/dongyunqi# top -Hp 6723 top - 17:49:19 up 1 day, 8:15, 6 users, load average: 1.18, 1.06, 1.00 Threads: 11 total, 1 running, 10 sleeping, 0 stopped, 0 zombie %Cpu(s): 98.7 us, 1.3 sy, 0.0 ni, 0.0 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st MiB Mem : 1920.3 total, 292.8 free, 509.5 used, 1296.8 buff/cache MiB Swap: 1899.0 total, 1898.7 free, 0.3 used. 1410.8 avail Mem PID USER PR NI VIRT RES SHR S %CPU %MEM TIME COMMAND 6733 root 20 0 2375824 41948 16852 R 95.3 2.1 2:59.11 thread-testmany ...可以看到线程ID是6733接着我们需要查看该线程执行的方法是啥命令jstack [进程id] | grep [线程id十六进制]如下红框就是造成CPU高的位置了。3不同场景的CPU问题排查实战排查CPU问题的常见指标如下1用户cpu使用率高 2syscpu使用率高 3等待IO CPU使用率 4中断CPU使用率 5平均负载 6上下文切换 7CPU缓存命中率3.1用户cpu使用率高需要注意的是排查某一类问题可以用到的命令都不止一个正所谓条条大路通罗马但重要的是当遇到某一类问题时现有一个清晰的排查思路然后才是触类旁通融会贯通所以不用纠结说诶这个我用这个命令不是也可以吗干嘛要用那个命令这种。3.1.1Java项目参考本文2实战CPU问题排查。用到的命令是1top 定位占用CPU最多的进程 2top -Hp 定位进程中占用CPU最多的线程 3printf %x\n [线程号] 将线程号转为16进制因为jstack命令中的线程号是16进制表示的 4jstack [进程id] | grep [16进制线程号] -A 20 定位出具体的代码位置3.1.2TODO项目3.2syscpu使用率高3.3等待IO CPU使用率参考这篇文章 。核心思路是首先通过watch -d utime命令观察负载的变化情况发现在不断的升高后通过命令mpstat -P ALL 5获取看下每个核的CPU利用率情况发现异常后可以进一步通过pidstat -u 5获取哪个进程占用的CPU利用率高或者时IOWAIT高。再做进一步排查。3.4中断CPU使用率参考 。如果怀疑是中断造成了CPU使用率高的话可以通过命令watch -d /bin/cat /proc/softirqs | /usr/bin/awk NR 1{printf \%13s %s\n\,\ \,\$1}; NR 1{printf \%13s %s\n\,\$1,\$2}查看各种软中断的次数主要还是看是否在一直增大。一般出问题的是NET_*相关的即网络发包和收包。3.5平均负载参考这篇文章 。核心思路是首先通过watch -d utime命令观察负载的变化情况发现在不断的升高后通过命令mpstat -P ALL 5获取看下每个核的CPU利用率情况发现异常后可以进一步通过pidstat -u 5获取哪个进程占用的CPU利用率高或者时IOWAIT高。再做进一步排查。3.6上下文切换点我 。观察到CPU高如果是怀疑上下文切换造成的可以使用命令vmstat 1观察上下文切换次数如果是超过一万并且在不断增加的话基本可以断定上下文切换次数过多了。接着可以通过pidstat -wt 1命令看下哪个进程上下文切换次数过多了。3.7CPU缓存命中率写在后面参考文章列表多知道一点CPU问题排查可能用到的命令iowait高会导致CPU利用率高吗不会。cpu使用率一般是usersys的总和如下图:iowait高可能会导致负载高因为iowait参数计算负载值。因为iowait的线程或进程处于不可打断状态。这里只是一个状态而已可以认为时一个特殊的标记吧因此当有其他线程或进程需要CPU资源时依然会切换过去执行。另外注意iowait 特指等待磁盘 I/O 的时间与网络 I/O 完全无关。这可能是一个常见的误区至少我开始是这样认为的。iowait高会导致CPU利用率高吗