【Linux 性能优化系列】Linux 性能优化 -- CPU 性能篇(一) 平均负载、上下文切换、CPU 使用率
【1】相关概念
【1.1】平均负载
平均负载是指单位时间内，系统处于可运行状态和不可中断状态的平均进程数，也就是平均活跃进程数；
可运行状态的进程，是指正在使用 CPU 或者正在等待 CPU 的进程，即 ps 命令看到的处于 R 状态（Running 或 Runnable）的进程；
不可中断状态的进程则是正处于内核态关键流程中的进程，并且这些流程是不可打断的，比如最常见的是等待硬件设备的 I/O 响应，即 ps 命令中看到的 D 状态（Uninterruptible Sleep，也称为 Disk Sleep）的进程，不可中断状态实际上是系统对进程和硬件设备的一种保护机制；
【1.1.1】平均负载与 CPU 使用率的关系
CPU 密集型进程，使用大量 CPU 会导致平均负载升高，此时这两者是一致的；
I/O 密集型进程，等待 I/O 也会导致平均负载升高，但 CPU 使用率不一定很高；
大量等待 CPU 的进程调度也会导致平均负载升高，此时的 CPU 使用率也会比较高；
【1.2】CPU 上下文
CPU 寄存器，CPU 内置的容量小、但速度极快的内存；
程序计数器，用来存储 CPU 正在执行的指令位置或者即将执行的下一条指令位置；
两者构成了 CPU 在运行任何任务前，必须的依赖环境；
【1.2.1】CPU 上下文切换
即把前一个任务的 CPU 上下文（即 CPU 寄存器和程序计数器）保存起来，然后加载新任务的上下文到这些寄存器和程序计数器，最后再跳转到程序计数器所指的新位置，运行新任务的操作；
【1.2.2】CPU 的上下文切换的分类
【1.2.2.1】进程上下文切换
Linux 按照特权等级，把进程的运行空间分为内核空间和用户空间，内核空间（Ring 0）具有最高权限，可以直接访问所有资源；用户空间（Ring 3）只能访问受限资源，不能直接访问内存等硬件设备，必须通过系统调用到内核中，才能访问这些特权资源；
注意 : 系统调用，通常称为特权模式切换，而不是上下文切换，一次系统调用的过程，其实是发生了两次 CPU 上下文切换；
进程上下文切换 VS 系统调用
1. 进程是由内核来管理和调度的，进程的切换只能发生在内核态，因此进程的上下文不仅包括了虚拟内存、栈、全局变量等用户空间的资源，还包括了内核堆栈、寄存器等内核空间的状态；
2. 进程的上下文切换比系统调用多了一步，在保存当前进程的内核状态和 CPU 寄存器之前，需要先把该进程的虚拟内存、栈等用户空间资源保存下来；而加载了下一进程的内核态后，还需要刷新该进程的虚拟内存、栈等用户空间资源；
进程上下文切换的时机
只有在进程调度的时候，才需要切换上下文；Linux 为每个 CPU 都维护了一个就绪队列，将活跃进程（即正在运行和正在等待 CPU 的进程）按照优先级和等待 CPU 的时间排序，然后选择最需要 CPU 的进程，即优先级最高和等待 CPU 时间最长的进程来运行；
进程被调度到 CPU 上运行的时机
1. 为了保证所有进程可以得到公平调度，CPU 时间被划分为一段段的时间片，这些时间片再被轮流分配给各个进程；当某个进程的时间片耗尽了，就会被系统挂起，切换到其它正在等待 CPU 的进程运行；
2. 进程在系统资源不足时，要等到资源满足后才可以运行，此时进程也会被挂起，并由系统调度其他进程运行；
3. 当进程通过睡眠函数 sleep 方法将自己主动挂起时也会重新调度；
4. 当有优先级更高的进程运行时，为了保证高优先级进程的运行，当前进程会被挂起，由高优先级进程来运行；
5. 发生硬件中断时，CPU 上的进程会被中断挂起，转而执行内核中的中断服务程序；
【1.2.2.2】线程上下文切换
线程是调度的基本单位，而进程则是资源拥有的基本单位
进程 VS 线程
1. 当进程只有一个线程时，可以认为进程就等于线程；
2. 当进程拥有多个线程时，这些线程会共享相同的虚拟内存和全局变量等资源，这些资源在上下文切换时是不需要修改的；
3. 线程也有私有数据，这些在上下文切换时也是需要保存的；
线程上下文切换的情况
1. 前后两个线程属于不同进程；此时，由于资源不共享，切换过程就跟进程上下文切换是一样；
2. 前后两个线程属于同一个进程；此时，由于虚拟内存是共享的，切换时，虚拟内存这些资源就保持不动，只需要切换线程的私有数据、寄存器等不共享的数据；
【1.2.2.3】中断上下文切换
中断处理会打断进程的正常调度和执行，转而调用中断处理程序，响应设备事件
中断上下文切换并不涉及到进程的用户态，即便中断过程打断了一个正处在用户态的进程，也不需要保存和恢复这个进程的虚拟内存、全局变量等用户态资源；中断上下文，只包括内核态中断服务程序执行所必需的状态，包括 CPU 寄存器、内核堆栈、硬件中断参数等；
【1.3】CPU 使用率
【1.3.1】节拍
为了维护 CPU 时间，Linux 通过事先定义的节拍率（内核中表示为 HZ），触发时间中断，并使用全局变量 Jiffies 记录了开机以来的节拍数，每发生一次时间中断，Jiffies 的值就加 1；
节拍率 HZ 是内核的可配选项，可以设置为 100、250、1000 等，不同的系统可能设置不同数值，可以通过查询 /boot/config 内核选项来查看它的配置值；
由于节拍率 HZ 是内核选项，用户空间程序不能直接访问，因此为了方便用户空间程序，内核还提供了一个用户空间节拍率 USER_HZ，其值固定为 100；
Linux 通过 /proc 虚拟文件系统，向用户空间提供了系统内部状态的信息，而 /proc/stat 提供的就是系统的 CPU 和任务统计信息；
# 只保留各个CPU的数据$ cat /proc/stat | grep ^cpucpu 280580 7407 286084 172900810 83602 0 583 0 0 0cpu0 144745 4181 176701 86423902 52076 0 301 0 0 0cpu1 135834 3226 109383 86476907 31525 0 282 0 0 0其中，第一列表示的是 CPU 编号，如 cpu0、cpu1 ，而第一行没有编号的 cpu，表示的是所有 CPU 的累加；其他列则表示不同场景下 CPU 的累加节拍数，单位是 USER_HZ，即 10 ms（1/100 秒），即不同场景下的 CPU 时间；user（通常缩写为 us），代表用户态 CPU 时间，注意，它不包括下面的 nice 时间，但包括了 guest 时间；nice（通常缩写为 ni），代表低优先级用户态 CPU 时间，也就是进程的 nice 值被调整为 1-19 之间时的 CPU 时间，注意 nice 可取值范围是 -20 到 19，数值越大，优先级反而越低；system（通常缩写为 sys），代表内核态 CPU 时间；idle（通常缩写为 id），代表空闲时间，注意，它不包括等待 I/O 的时间（iowait）；iowait（通常缩写为 wa），代表等待 I/O 的 CPU 时间；irq（通常缩写为 hi），代表处理硬中断的 CPU 时间；softirq（通常缩写为 si），代表处理软中断的 CPU 时间；steal（通常缩写为 st），代表当系统运行在虚拟机中的时候，被其他虚拟机占用的 CPU 时间；guest（通常缩写为 guest），代表通过虚拟化运行其他操作系统的时间，也就是运行虚拟机的 CPU 时间；guest_nice（通常缩写为 gnice），代表以低优先级运行虚拟机的时间；
【1.3.2】CPU 使用率
CPU 使用率，就是除了空闲时间外的其他时间占总 CPU 时间的百分比
开机以来的 CPU 使用率计算公式
某段时间内的平均 CPU 使用率计算公式
Linux 给每个进程提供了运行情况的统计信息，即 /proc/[pid]/stat
注意，性能分析工具给出的都是间隔一段时间的平均 CPU 使用率，所以要注意间隔时间的设置
【2】相关工具与命令
【2.1】测试模拟工具
stress 是一个 Linux 系统压力测试工具，这里用作异常进程模拟平均负载升高的场景；
sysbench 是一个多线程的基准测试工具，一般用来评估不同系统参数下的数据库负载情况；可以将其当成一个异常进程来看，作用是模拟上下文切换过多的问题；
【2.2】mpstat
mpstat 是一个常用的多核 CPU 性能分析工具，用来实时查看每个 CPU 的性能指标，以及所有 CPU 的平均指标；
命令格式
mpstat [-P {cpu|ALL}] [internal [count]]命令参数说明-P {cpu l ALL}：表示监控哪个CPU， cpu在[0,cpu个数-1]中取值internal：相邻的两次采样的间隔时间count：采样的次数，count只能和delay一起使用结果参数说明CPU处理器ID%usr 在internal时间段里，用户态的CPU时间（%），不包含nice值为负进程%nice 在internal时间段里，nice值为负的进程(使用nice命令对进程进行降级时)CPU的百分比（%）%sys 在internal时间段里，核心时间（%）%iowait 在internal时间段里，硬盘IO等待时间（%）%irq 在internal时间段里，硬中断时间（%）%soft 在internal时间段里，软中断时间（%）%steal 显示虚拟机管理器在服务另一个虚拟处理器时虚拟CPU处在非自愿等待下花费时间的百分比%guest 显示运行虚拟处理器时CPU花费时间的百分比%gnice%idle 在internal时间段里，CPU除去等待磁盘IO操作外的因为任何原因而空闲的时间闲置时间（%）
【2.3】pidstat
pidstat 是一个常用的进程性能分析工具，用来实时查看进程的 CPU、内存、I/O 以及上下文切换等性能指标；
命令格式
pidstat 的用法：pidstat [ 选项 ] [ <时间间隔> ] [ <次数> ]常用的参数：-u：默认的参数，显示各个进程的cpu使用统计-r：显示各个进程的内存使用统计-d：显示各个进程的IO使用情况-p：指定进程号-w：显示每个进程的上下文切换情况-t：显示选择任务的线程的统计信息外的额外信息-T { TASK | CHILD | ALL }TASK表示报告独立的task；CHILD关键字表示报告进程下所有线程统计信息；ALL表示报告独立的task和task下面的所有线程；注意：task和子线程的全局的统计信息和pidstat选项无关；这些统计信息不会对应到当前的统计间隔，这些统计信息只有在子线程kill或者完成的时候才会被收集；-V：版本号-h：在一行上显示了所有活动，这样其他程序可以容易解析-I：在SMP环境，表示任务的CPU使用率/内核数量-l：显示命令名和所有参数
使用示例
示例一：查看所有进程的 CPU 使用情况（ -u -p ALL）
pidstatpidstat -u -p ALLpidstat 和 pidstat -u -p ALL 是等效的；pidstat 默认显示了所有进程的cpu使用率；结果说明PID：进程ID%usr：进程在用户空间占用cpu的百分比%system：进程在内核空间占用cpu的百分比%guest：进程在虚拟机占用cpu的百分比%CPU：进程占用cpu的百分比CPU：处理进程的cpu编号Command：当前进程对应的命令
示例二： 内存使用情况统计(-r)
pidstat -r使用-r选项，pidstat将显示各活动进程的内存使用统计结果说明PID：进程标识符minflt/s: 每秒次缺页错误次数(minor page faults)，次缺页错误次数表明虚拟内存地址映射成物理内存地址产生的page fault次数，不需要从磁盘中加载页majflt/s: 每秒主缺页错误次数(major page faults)，当虚拟内存地址映射成物理内存地址时，相应的 page在swap中，这样的page fault为major page fault，一般在内存使用紧张时产生，需要从磁盘中加载页VSZ:该进程使用的虚拟内存(以kB为单位)RSS:该进程使用的物理内存(以kB为单位)%MEM:该进程使用内存的百分比Command: 拉起进程对应的命令
示例三：显示各个进程的IO使用情况（-d）
pidstat -d结果说明PID：进程idkB_rd/s：每秒从磁盘读取的数据量(KB)kB_wr/s：每秒写入磁盘数据量(KB)kB_ccwr/s：任务取消写入磁盘的数据量(KB)，当任务截断脏的pagecache的时候会发生COMMAND：task的命令名
示例四：显示每个进程的上下文切换情况（-w）&针对特定进程统计(-p)
pidstat -t -p 2831结果说明PID:进程idCswch/s:每秒主动任务上下文切换数量，主动任务上下文切换，是指进程无法获取所需资源，导致的上下文切换；比如说， I/O、内存等系统资源不足时，就会发生自愿上下文切换；Nvcswch/s:每秒被动任务上下文切换数量，被动任务上下文切换，则是指进程由于时间片已到等原因，被系统强制调度，进而发生的上下文切换；比如说，大量进程都在争抢 CPU 时，就容易发生非自愿上下文切换Command:命令名
示例五：显示选择任务的线程的统计信息外的额外信息 (-t)
pidstat -t -p 2831结果说明TGID:主线程的表示TID:线程id%usr:进程在用户空间占用cpu的百分比%system:进程在内核空间占用cpu的百分比%guest:进程在虚拟机占用cpu的百分比%CPU:进程占用cpu的百分比CPU:处理进程的cpu编号Command:当前进程对应的命令
【2.4】iostat
iostat 主要用于监控系统设备的IO负载情况，iostat首次运行时显示自系统启动开始的各项统计信息，之后运行iostat将显示自上次运行该命令以后的统计信息；
命令格式iostat [参数] [时间] [次数]命令参数说明-c 显示CPU使用情况-d 显示磁盘使用情况-k 以K为单位显示-m 以M为单位显示-N 显示磁盘阵列(LVM) 信息-n 显示NFS使用情况-p 可以报告出每块磁盘的每个分区的使用情况-t 显示终端和CPU的信息-x 显示详细信息
使用示例
命令结果重要参数
%iowait：如果该值较高，表示磁盘存在I/O瓶颈await：一般地，系统I/O响应时间应该低于5ms，如果大于10ms就比较大了avgqu-sz：如果I/O请求压力持续超出磁盘处理能力，该值将增加；如果单块磁盘的队列长度持续超过2，一般认为该磁盘存在I/O性能问题需要注意的是，如果该磁盘为磁盘阵列虚拟的逻辑驱动器，需要再将该值除以组成这个逻辑驱动器的实际物理磁盘数目，以获得平均单块硬盘的I/O等待队列长度%util：一般地，如果该参数是100%表示设备已经接近满负荷运行了
示例一:显示详细信息iostat -x
命令：iostat -x结果参数说明%user：CPU处在用户模式下的时间百分比%nice：CPU处在带NICE值的用户模式下的时间百分比%system：CPU处在系统模式下的时间百分比%iowait：CPU等待输入输出完成时间的百分比%steal：管理程序维护另一个虚拟处理器时，虚拟CPU的无意识等待时间百分比%idle：CPU空闲时间百分比Device：设备名称rrqm/s：每秒合并到设备的读取请求数wrqm/s：每秒合并到设备的写请求数r/s：每秒向磁盘发起的读操作数w/s：每秒向磁盘发起的写操作数rkB/s：每秒读K字节数wkB/s: 每秒写K字节数avgrq-sz：平均每次设备I/O操作的数据大小avgqu-sz：平均I/O队列长度await：平均每次设备I/O操作的等待时间(毫秒)，一般地，系统I/O响应时间应该低于5ms，如果大于 10ms就比较大了r_await：每个读操作平均所需的时间；不仅包括硬盘设备读操作的时间，还包括了在kernel队列中等待的时间w_await：每个写操作平均所需的时间；不仅包括硬盘设备写操作的时间，还包括了在kernel队列中等待的时间svctm：平均每次设备I/O操作的服务时间 (毫秒)（这个数据不可信！）%util：一秒中有百分之多少的时间用于I/O操作，即被IO消耗的CPU百分比，一般地，如果该参数是100%表示设备已经接近满负荷运行了
示例二：显示磁盘使用情况iostat -d 2 3
命令：iostat -d 2 3结果参数说明tps：每秒I/O数（即IOPS。磁盘连续读和连续写之和）kB_read/s：每秒从磁盘读取数据大小，单位KB/skB_wrtn/s：每秒写入磁盘的数据的大小，单位KB/skB_read：从磁盘读出的数据总数，单位KBkB_wrtn：写入磁盘的的数据总数，单位KB
【2.5】uptime
uptime02:34:03 up 2 days, 20:14, 1 user, load average: 0.63, 0.83, 0.88参数说明02:34:03 : 当前时间up 2 days, 20:14 : 系统运行时间1 user : 正在登录用户数load average: 0.63, 0.83, 0.88 : 过去 1 分钟、5 分钟、15 分钟的平均负载命令分析说明1. 如果 1 分钟、5 分钟、15 分钟的三个值基本相同则系统负载很平稳；2. 如果 1 分钟的值远小于 15 分钟的值，就说明系统最近 1 分钟的负载在减少，而过去 15 分钟内却有很大的负载；3. 如果 1 分钟的值远大于 15 分钟的值，就说明最近 1 分钟的负载在增加，这种增加有可能只是临时性的，也有可能还会持续增加下去，所以就需要持续观察，一旦 1 分钟的平均负载接近或超过了 CPU 的个数，就意味着系统正在发生过载的问题，这时就得分析调查是哪里导致的问题，并要想办法优化了；注意 : 当平均负载高于 CPU 数量 70% 的时候，就应该分析排查负载高的问题，一旦负载过高，就可能导致进程响应变慢，进而影响服务的正常功能；
【2.6】vmstat
vmstat常用命令格式vmstat [-a] [-n] [-S unit] [delay [ count]]vmstat [-s] [-n] [-S unit]vmstat [-m] [-n] [delay [ count]]vmstat [-d] [-n] [delay [ count]]vmstat [-p disk partition] [-n] [delay [ count]]vmstat [-f]vmstat [-V]命令选项说明-a：显示活跃和非活跃内存-f：显示从系统启动至今的fork数量-m：显示slabinfo-n：只在开始时显示一次各字段名称-s：显示内存相关统计信息及多种系统活动数量delay：刷新时间间隔，如果不指定，只显示一条结果count：刷新次数，如果不指定刷新次数，但指定了刷新时间间隔，这时刷新次数为无穷-d：显示磁盘相关统计信息-p：显示指定磁盘分区统计信息-S：使用指定单位显示，参数有 k 、K 、m 、M，分别代表1000、1024、1000000、1048576字节（byte），默认单位为K（1024 bytes）-V：显示vmstat版本信息
使用示例
vmstatprocs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----r b swpd free buff cache si so bi bo in cs us sy id wa st3 0 361396 196772 55820 359372 0 0 13 21 1 1 2 0 98 0 01 0 361392 196524 55820 359616 8 0 2360 411 527 1 0 90 9 02 1 361392 196524 55828 359608 0 00 48 370 503 1 1 98 0 04 0 361392 196524 55828 359616 0 000 442 559 1 0 99 0 0字段说明：procs（进程） r：当前运行队列中线程的数目，代表线程处于可运行状态，但CPU还未能执行，这个值可以作为判断CPU是否繁忙的一个指标；当这个值超过了CPU数目，就会出现CPU瓶颈了；这个我们可以结合top命令的负载值同步评估系统性能；b：等待IO的进程数量；如果该值一直都很大，说明IO比较繁忙，处理较慢；memory（内存） swpd：虚拟内存已使用的大小；如果swpd的值不为0，但是si，so的值长期为0，这种情况不会影响系统性能；free：空闲的物理内存的大小；buff：用作缓冲的内存大小；cache：用作缓存的内存大小；如果cache的值大的时候，说明cache处的文件数多，如果频繁访问到的文件都能被cache处，那么磁盘的读IO bi会非常小；swap（交换空间，单位：KB）；内存够用的时候，这2个值都是0，如果这2个值长期大于0时，系统性能会受到影响，磁盘IO和CPU资源都会被消耗；有时我们看到空闲内存（free）很少的或接近于0时，就认为内存不够用了，不能光看这一点，还要结合si和so，如果free很少，但是si和so也很少（大多时候是0），那么不用担心，系统性能这时不会受到影响的； si：每秒从交换区写到内存的大小；so：每秒写入交换区的内存大小；io（单位：块/秒） bi：每秒读取的块数；bo：每秒写入的块数；随机磁盘读写的时候，这2个值越大，能看到CPU在IO等待的值也会越大；system（系统）；这2个值越大，会看到由内核消耗的CPU时间会越大； in：每秒中断数，包括时钟中断；cs：每秒上下文切换数；cpu（以百分比表示） us：用户进程执行时间(user time)；sy：系统进程执行时间(system time)；id：空闲时间(包括IO等待时间)；wa：等待IO时间；wa的值高时，说明IO等待比较严重，这可能由于磁盘大量作随机访问造成，也有可能磁盘出现瓶颈；
【2.7】top
top命令的使用top使用格式top [-] [d] [p] [q] [c] [C] [S] [s] [n]top参数说明d: 指定每两次屏幕信息刷新之间的时间间隔，当然用户可以使用s交互命令来改变之p: 通过指定监控进程ID来仅仅监控某个进程的状态q: 该选项将使top没有任何延迟的进行刷新，如果调用程序有超级用户权限，那么top将以尽可能高的优先级运行S: 指定累计模式s: 使top命令在安全模式中运行，这将去除交互命令所带来的潜在危险i: 使top不显示任何闲置或者僵死进程c: 显示整个命令行而不只是显示命令名交互命令Ctrl+L: 擦除并且重写屏幕h或者?: 显示帮助画面，给出一些简短的命令总结说明k: 终止一个进程，系统将提示用户输入需要终止的进程PID，以及需要发送给该进程什么样的信号；一般的终止进程可以使用15信号；如果不能正常结束那就使用信号9强制结束该进程；默认值是信号15；在安全模式中此命令被屏蔽i: 忽略闲置和僵死进程，这是一个开关式命令q: 退出程序r: 重新安排一个进程的优先级别，系统提示用户输入需要改变的进程PID以及需要设置的进程优先级值；输入一个正值将使优先级降低，反之则可以使该进程拥有更高的优先权，默认值是10S: 切换到累计模式s: 改变两次刷新之间的延迟时间，系统将提示用户输入新的时间，单位为s，如果有小数，就换算成ms；输入0值则系统将不断刷新，默认值是5s；需要注意的是如果设置太小的时间，很可能会引起不断刷新，从而根本来不及看清显示的情况，而且系统负载也会大大增加f或者F: 从当前显示中添加或者删除项目o或者O: 改变显示项目的顺序l: 切换显示平均负载和启动时间信息m: 切换显示内存信息t: 切换显示进程和CPU状态信息c: 切换显示命令名称和完整命令行M: 根据驻留内存大小进行排序P: 根据CPU使用百分比大小进行排序T: 根据时间/累计时间进行排序W: 将当前设置写入~/.toprc文件中，这是写top配置文件的推荐方法
# 默认每3秒刷新一次$ toptop - 11:58:59 up 9 days, 22:47, 1 user, load average: 0.03, 0.02, 0.00Tasks: 123 total, 1 running, 72 sleeping, 0 stopped, 0 zombie%Cpu(s): 0.3 us, 0.3 sy, 0.0 ni, 99.3 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 stKiB Mem : 8169348 total, 5606884 free, 334640 used, 2227824 buff/cacheKiB Swap: 0 total, 0 free, 0 used. 7497908 avail MemPID USERPR NI VIRT RES SHR S %CPU %MEMTIME+ COMMAND1 root20 0 78088 9288 6696 S 0.0 0.1 0:16.83 systemd2 root20 0 000 S 0.0 0.0 0:00.05 kthreadd4 root 0 -20 000 I 0.0 0.0 0:00.00 kworker/0:0H
统计信息区第一行：任务队列信息，与uptime命令执行结果相同17:32:34：系统当前时间up 3 days, 8:04：主机已运行时间5 users：用户连接数（不是用户数，who命令）load average: 0.09, 0.12, 0.19：系统平均负载，统计最近1,5,15分钟的系统平均负载补充：uptime -V可查询版本第二行：进程信息Tasks: 287 total：进程总数2 running：正在运行的进程数285 sleeping：睡眠的进程数0 stopped：停止的进程数0 zombie：僵尸进程数第三行：CPU信息（当有多个CPU时，这些内容可能会超过两行）1.5 us：用户空间所占CPU百分比0.9 sy：内核空间占用CPU百分比0.0 ni：用户进程空间内改变过优先级的进程占用CPU百分比97.5 id：空闲CPU百分比0.2 wa：等待输入输出的CPU时间百分比0.0 hi：硬件CPU中断占用百分比0.0 si：软中断占用百分比0.0 st：虚拟机占用百分比第四行：内存信息（与第五行的信息类似与free命令）8053444 total：物理内存总量7779224 used：已使用的内存总量274220 free：空闲的内存总量（free+used=total）359212 buffers：用作内核缓存的内存量第五行：swap信息8265724 total：交换分区总量33840 used：已使用的交换分区总量8231884 free：空闲交换区总量4358088 cached Mem：缓冲的交换区总量，内存中的内容被换出到交换区，然后又被换入到内存，但是使用过的交换区没有被覆盖，交换区的这些内容已存在于内存中的交换区的大小，相应的内存再次被换出时可不必再对交换区写入
进程信息区PID:进程idPPID:父进程idRUSER:Real user name（看了好多，都是这样写，也不知道和user有什么区别，欢迎补充此处）UID:进程所有者的idUSER:进程所有者的用户名GROUP:进程所有者的组名TTY:启动进程的终端名。不是从终端启动的进程则显示为?PR:优先级NI:nice值。负值表示高优先级，正值表示低优先级P:最后使用的CPU，仅在多CPU环境下有意义%CPU:上次更新到现在的CPU时间占用百分比TIME:进程使用的CPU时间总计，单位秒TIME+：进程所使用的CPU时间总计，单位1/100秒%MEM:进程使用的物理内存百分比VIRT:进程使用的虚拟内存总量，单位kb。VIRT=SWAP+RESSWAP:进程使用的虚拟内存中被被换出的大小RES:进程使用的、未被换出的物理内存的大小CODE:可执行代码占用的物理内存大小DATA:可执行代码以外的部分（数据段+栈）占用的物理内存大小SHR:共享内存大小nFLT:页面错误次数nDRT:最后一次写入到现在，被修改过的页面数S:进程状态（D=不可中断的睡眠状态，R=运行，S=睡眠，T=跟踪/停止，Z=僵尸进程）COMMAND:命令名/行WCHAN:若该进程在睡眠，则显示睡眠中的系统函数名Flags:任务标志
【2.8】perf
【2.8.1】perf top
Samples: 833 of event 'cpu-clock', Event count (approx.): 97742399Overhead Shared Object Symbol7.28% perf[.] 0x00000000001f78a44.72% [kernel] [k] vsnprintf4.32% [kernel] [k] module_get_kallsym3.65% [kernel] [k] _raw_spin_unlock_irqrestore
默认情况下perf top是无法显示信息的，需要sudo perf top或者echo -1 > /proc/sys/kernel/perf_event_paranoid(在Ubuntu16.04，还需要echo 0 > /proc/sys/kernel/kptr_restrict)即可以正常显示perf top第一列：符号引发的性能事件的比例，指占用的cpu周期比例第二列：符号所在的DSO(Dynamic Shared Object)，可以是应用程序、内核、动态链接库、模块第三列：DSO的类型[.]表示此符号属于用户态的ELF文件，包括可执行文件与动态链接库；[k]表述此符号属于内核或模块第四列：符号名，有些符号不能解析为函数名，只能用地址表示
perf top 界面常用命令h：显示帮助，即可显示详细的帮助信息UP/DOWN/PGUP/PGDN/SPACE：上下和翻页a：annotate current symbol，注解当前符号，能够给出汇编语言的注解，给出各条指令的采样率d：过滤掉所有不属于此DSO的符号，非常方便查看同一类别的符号P：将当前信息保存到perf.hist.N中perf top常用选项-e <event>：指明要分析的性能事件-p <pid>：Profile events on existing Process ID (comma sperated list)，仅分析目标进程及其创建的线程-k <path>：Path to vmlinux，Required for annotation functionality，带符号表的内核映像所在的路径-K：不显示属于内核或模块的符号-U：不显示属于用户态程序的符号-d <n>：界面的刷新周期，默认为2s，因为perf top默认每2s从mmap的内存区域读取一次性能数据-g：得到函数的调用关系图perf top --call-graph [fractal]，路径概率为相对值，加起来为100%，调用顺序为从下往上perf top --call-graph graph，路径概率为绝对值，加起来为该函数的热度
【2.8.2】perf stat
perf stat用于运行指令，并分析其统计结果，虽然perf top也可以指定pid，但是必须先启动应用才能查看信息perf stat能完整统计应用整个生命周期的信息命令格式为：perf stat [-e <EVENT> | --event=EVENT] [-a] <command>perf stat [-e <EVENT> | --event=EVENT] [-a] — <command> [<options>]
输出结果
Performance counter stats for 'system wide':40904.820871cpu-clock (msec)# 5.000 CPUs utilized 18,132context-switches# 0.443 K/sec 1,053cpu-migrations # 0.026 K/sec 2,420page-faults# 0.059 K/sec 3,958,376,712cycles# 0.097 GHz (49.99%)574,598,403stalled-cycles-frontend # 14.52% frontend cycles idle(49.98%)9,392,982,910stalled-cycles-backend # 237.29% backend cycles idle(50.00%)1,653,185,883instructions # 0.42 insn per cycle # 5.68 stalled cycles per insn (50.01%)237,061,366branches # 5.795 M/sec(50.02%)18,333,168branch-misses # 7.73% of all branches(50.00%)8.181521203 seconds time elapsed输出参数说明cpu-clock：任务真正占用的处理器时间，单位为ms，CPUs utilized = task-clock / time elapsed，CPU的占用率；context-switches：程序在运行过程中上下文的切换次数CPU-migrations：程序在运行过程中发生的处理器迁移次数，Linux为了维持多个处理器的负载均衡，在特定条件下会将某个任务从一个CPU迁移到另一个CPU；CPU迁移和上下文切换：发生上下文切换不一定会发生CPU迁移，而发生CPU迁移时肯定会发生上下文切换；发生上下文切换有可能只是把上下文从当前CPU中换出，下一次调度器还是将进程安排在这个CPU上执行；page-faults：缺页异常的次数，当应用程序请求的页面尚未建立、请求的页面不在内存中，或者请求的页面虽然在内存中，但物理地址和虚拟地址的映射关系尚未建立时，都会触发一次缺页异常；另外TLB不命中，页面访问权限不匹配等情况也会触发缺页异常。cycles：消耗的处理器周期数，如果把被ls使用的cpu cycles看成是一个处理器的，那么它的主频为2.486GHz，可以用cycles / task-clock算出stalled-cycles-frontend：指令读取或解码的质量步骤，未能按理想状态发挥并行左右，发生停滞的时钟周期stalled-cycles-backend：指令执行步骤，发生停滞的时钟周期instructions：执行了多少条指令，IPC为平均每个cpu cycle执行了多少条指令branches：遇到的分支指令数，branch-misses是预测错误的分支指令数
【3】实例分析
场景一：CPU 密集型进程
终端1stress --cpu 1 --timeout 600终端2-d 参数表示高亮显示变化的区域watch -d uptime..., load average: 1.00, 0.75, 0.39分析说明1 分钟的平均负载会慢慢增加到 1.00终端3-P ALL 表示监控所有CPU，后面数字5表示间隔5秒后输出一组数据mpstat -P ALL 5Linux 4.15.0 (ubuntu) 09/22/18 _x86_64_ (2 CPU)13:30:06CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle13:30:11all 50.05 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 49.9513:30:11 0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.0013:30:11 1 100.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00分析说明有一个 CPU 的使用率为 100%，但它的 iowait 只有 0终端4# 间隔5秒后输出一组数据pidstat -u 5 113:37:07UID PID %usr %system %guest %wait %CPU CPU Command13:37:12 02962 100.00 0.00 0.00 0.00 100.001 stress分析说明stress 进程的 CPU 使用率为 100%
场景二：I/O 密集型进程
终端1stress -i 1 --timeout 600终端2watch -d uptime..., load average: 1.06, 0.58, 0.37分析说明1 分钟的平均负载会慢慢增加到 1.06终端3# 显示所有CPU的指标，并在间隔5秒输出一组数据mpstat -P ALL 5 1Linux 4.15.0 (ubuntu)09/22/18_x86_64_ (2 CPU)13:41:28CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle13:41:33all 0.21 0.00 12.07 32.67 0.00 0.21 0.00 0.00 0.00 54.8413:41:33 0 0.43 0.00 23.87 67.53 0.00 0.43 0.00 0.00 0.00 7.7413:41:33 1 0.00 0.00 0.81 0.20 0.00 0.00 0.00 0.00 0.00 98.99分析说明一个 CPU 的系统 CPU 使用率升高到了 23.87，而 iowait 高达 67.53%终端4# 间隔5秒后输出一组数据，-u表示CPU指标pidstat -u 5 1Linux 4.15.0 (ubuntu)09/22/18_x86_64_ (2 CPU)13:42:08UID PID %usr %system %guest %wait %CPU CPU Command13:42:13 0 104 0.00 3.39 0.00 0.00 3.391 kworker/1:1H13:42:13 0 109 0.00 0.40 0.00 0.00 0.400 kworker/0:1H13:42:13 02997 2.00 35.53 0.00 3.99 37.521 stress13:42:13 03057 0.00 0.40 0.00 0.00 0.400 pidstat
场景三：大量进程的场景
获取系统 CPU 个数命令grep 'model name' /proc/cpuinfo | wc -l1分析说明仅仅有一个 CPU终端1stress -c 8 --timeout 600分析说明终端2uptime..., load average: 7.97, 5.93, 3.02分析说明由于系统只有 1 个 CPU，明显比 8 个进程要少得多，因而，系统的 CPU 处于严重过载状态，平均负载高达 7.97终端3# 间隔5秒后输出一组数据pidstat -u 5 114:23:25UID PID %usr %system %guest %wait %CPU CPU Command14:23:30 03190 25.00 0.00 0.00 74.80 25.000 stress14:23:30 03191 25.00 0.00 0.00 75.20 25.000 stress14:23:30 03192 25.00 0.00 0.00 74.80 25.001 stress14:23:30 03193 25.00 0.00 0.00 75.00 25.001 stress14:23:30 03194 24.80 0.00 0.00 74.60 24.800 stress14:23:30 03195 24.80 0.00 0.00 75.00 24.800 stress14:23:30 03196 24.80 0.00 0.00 74.60 24.801 stress14:23:30 03197 24.80 0.00 0.00 74.80 24.801 stress14:23:30 03200 0.00 0.20 0.00 0.20 0.200 pidstat
场景四 分析 CPU 上下文切换对系统性能的影响
终端一以10个线程运行5分钟的基准测试，模拟多线程切换的问题sysbench --num-threads=10 --max-time=300 --max-requests=10000000 --test=threads run终端二# 每隔1秒输出1组数据（需要Ctrl+C才结束）$ vmstat 1procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----r b swpd free buff cache si so bi bo in cs us sy id wa st6 00 6487428 118240 1292772 0 000 9019 1398830 16 84 0 0 08 00 6487428 118240 1292772 0 000 10191 1392312 16 84 0 0 0主要分析指标cs 列的上下文切换次数从 35 骤然上升到了 139 万；r 列：就绪队列的长度已经到了 8，远远超过了系统 CPU 的个数，所以肯定会有大量的 CPU 竞争；us（user）和 sy（system）列：这两列的 CPU 使用率加起来上升到了 100%，其中系统 CPU 使用率，即 sy 列高达 84%，说明 CPU 主要是被内核占用了；in 列：中断次数也上升到了 1 万左右，说明中断处理也是个潜在的问题；终端三# 每隔1秒输出1组数据（需要 Ctrl+C 才结束）# -w参数表示输出进程切换指标，而-u参数则表示输出CPU使用指标$ pidstat -w -u 108:06:33UID PID %usr %system %guest %wait %CPU CPU Command08:06:34 010488 30.00 100.00 0.00 0.00 100.000 sysbench08:06:34 026326 0.00 1.00 0.00 0.00 1.000 kworker/u4:208:06:33UID PID cswch/s nvcswch/s Command08:06:34 0 811.000.00 rcu_sched08:06:34 0 161.000.00 ksoftirqd/108:06:34 0 4711.000.00 hv_balloon08:06:34 012301.000.00 iscsid08:06:34 040891.000.00 kworker/1:508:06:34 043331.000.00 kworker/0:308:06:34 0104991.00 224.00 pidstat08:06:34 026326 236.000.00 kworker/u4:208:06:34100026784 223.000.00 sshd从 pidstat 的输出可以发现，CPU 使用率升高是 sysbench 导致的，其 CPU 使用率已经达到 100%；上下文切换则是来自其他进程，包括非自愿上下文切换频率最高的 pidstat，以及自愿上下文切换频率最高的内核线程 kworker 和 sshd；# 每隔1秒输出一组数据（需要 Ctrl+C 才结束）# -wt 参数表示输出线程的上下文切换指标$ pidstat -wt 108:14:05UIDTGID TID cswch/s nvcswch/s Command...08:14:05 010551 -6.000.00 sysbench08:14:05 0 -105516.000.00 |__sysbench08:14:05 0 -10552 18911.00 103740.00 |__sysbench08:14:05 0 -10553 18915.00 100955.00 |__sysbench08:14:05 0 -10554 18827.00 103954.00 |__sysbench...sysbench 进程（也就是主线程）的上下文切换次数看起来并不多，但其子线程的上下文切换次数却有很多终端四/proc 实际上是 Linux 的一个虚拟文件系统，用于内核空间与用户空间之间的通信；/proc/interrupts 提供了一个只读的中断使用情况；# -d 参数表示高亮显示变化的区域$ watch -d cat /proc/interruptsCPU0 CPU1...RES: 2450431 5279697 Rescheduling interrupts...变化速度最快的是重调度中断（RES），又称为处理器间中断（Inter-Processor Interrupts，IPI），该中断类型表示，唤醒空闲状态的 CPU 来调度新的任务运行，是多处理器系统（SMP）中，调度器用来分散任务到不同 CPU 的机制；
参考致谢
本博客为博主的学习实践总结，并参考了众多博主的博文，在此表示感谢，博主若有不足之处，请批评指正。
【1】Linux性能优化实战
【2】pidstat 命令详解(转载)
【3】Ubuntu 14.10 下运行进程实时监控pidstat命令详解
【4】Linux iostat命令详解
【5】Linux IO实时监控iostat命令详解
【6】Linux中mpstat命令参数详解
【7】Linux vmstat命令详解
【8】Ubuntu使用sysbench工具模拟大量上下文切换
【9】Top 命令详解
【10】系统级性能分析工具perf的介绍与使用
