超全整理 – Linux性能剖析工具汇总合集
出于对Linux操作系统的兴趣，以及对底层知识的强烈欲望，因此整理了这篇文章 。本文也可以作为磨练基础知识的指标，另外文章涵盖了一个系统的方方面面 。若是没有完善的盘算机系统知识，网络知识和操作系统知识，文档中的工具，是不可能完全掌握的，另外对系统性能剖析和优化是一个恒久的系列 。
本文档主要是团结Linux 大牛，Netflix 高级性能架构师 Brendan Gregg 更新 Linux 性能调优工具的博文，搜集Linux系统性能优化相关文章整理后的一篇综合性文章，主要是团结博文对涉及到的原理和性能测试的工具睁开说明 。
配景知识：具备配景知识是剖析性能问题时需要相识的 。好比硬件 cache；再好比操作系统内核 。应用程序的行为细节往往是和这些工具相互牵涉的，这些底层的工具会以意想不到的方法影响应用程序的性能，好比某些程序无法充分使用 cache，从而导致性能下降 。好比不须要地挪用过多的系统挪用，造成频仍的内核 / 用户切换等 。这里只是为本文的后续内容做一些铺垫，关于调优尚有许多工具，我所不知道的比知道的要多的多，希望各人能配合学习前进 。
【性能剖析工具】
首先来看一张图：
上图是Brendan Gregg 的一次性能剖析的分享，这内里的所有工具都可以通过man来获得它的资助文档，下问简朴先容先容一下通例的用法：
▲ vmstat–虚拟内存统计
vmstat(VirtualMeomoryStatistics,虚拟内存统计) 是Linux中监控内存的常用工具,可对操作系统的虚拟内存、历程、CPU等的整体情形举行监视 。
vmstat的通例用法：vmstat interval times即每隔interval秒采样一次，共采样times次，若是省略times,则一直收罗数据，直到用户手动阻止为止 。
简朴举个例子：
可以使用ctrl+c阻止vmstat收罗数据 。
第一行显示了系统自启动以来的平均值，第二行最先显示现在正在爆发的情形，接下来的行会显示每5秒距离爆发了什么，每一列的寄义在头部，如下所示：
▪ procs：r这一列显示了几多历程在期待cpu，b列显示几多历程正在不可中止的休眠（期待IO） 。
▪ memory：swapd列显示了几多块被换出了磁盘（页面交流），剩下的列显示了几多块是空闲的（未被使用），几多块正在被用作缓冲区，以及几多正在被用作操作系统的缓存 。
▪ swap：显示交流运动：每秒有几多块正在被换入（从磁盘）和换出（到磁盘） 。
▪ io：显示了几多块从块装备读� 。╞i）和写出（bo）,通常反应了硬盘I/O 。
▪ system：显示每秒中止(in)和上下文切换（cs）的数目 。
▪ cpu：显示所有的cpu时间破费在州操作的百分比，包括执行用户代码（非内核），执行系统代码（内核），空闲以及期待IO 。
内存缺乏的体现：free memory急剧镌汰，接纳buffer和cacher也无济于事，大宗使用交流分区（swpd）,页面交流（swap）频仍，读写磁盘数目（io）增多，缺页中止（in）增多，上下文切换（cs）次数增多，期待IO的历程数（b）增多，大宗CPU时间用于期待IO（wa）
▲iostat–用于报告中央处置惩罚器统计信息
iostat用于报告中央处置惩罚器（CPU）统计信息和整个系统、适配器、tty 装备、磁盘和 CD-ROM 的输入/输出统计信息，默认显示了与vmstat相同的cpu使用信息，使用以下下令显示扩展的装备统计：
第一行显示的是自系统启动以来的平均值，然后显示增量的平均值，每个装备一行 。
常见linux的磁盘IO指标的缩写习惯：rq是request,r是read,w是write,qu是queue，sz是size,a是verage,tm是time,svc是service 。
▪rrqm/s和wrqm/s：每秒合并的读和写请求，“合并的”意味着操作系统从行列中拿出多个逻辑请求合并为一个请求到现实磁盘 。
▪r/s和w/s：每秒发送到装备的读和写请求数 。
▪rsec/s和wsec/s：每秒读和写的扇区数 。
▪avgrq –sz：请求的扇区数 。
▪avgqu –sz：在装备行列中期待的请求数 。
▪await：每个IO请求破费的时间 。
▪svctm：现实请求（效劳）时间 。
▪%util：至少有一个活跃请求所占时间的百分比 。
▲dstat–系统监控工具
dstat显示了cpu使用情形，磁盘io情形，网络发包情形和换页情形，输出是彩色的，可读性较强，相关于vmstat和iostat的输入越发详细且较为直观 。在使用时，直接输入下令即可，虽然也可以使用特定参数 。
如下：dstat –cdlmnpsy
▲iotop–LINUX历程实时监控工具
iotop下令是专门显示硬盘IO的下令，界面气概类似top下令，可以显示IO负载详细是由哪个历程爆发的 。是一个用来监视磁盘I/O使用状态的top类工具，具有与top相似的UI，其中包括PID、用户、I/O、历程等相关信息 。
可以以非交互的方法使用：iotop –bod interval，审查每个历程的I/O，可以使用pidstat，pidstat –d instat 。
搜索公众号Linux中文社区后台回复“私房菜”，获取一份惊喜礼包 。
▲pidstat–监控系统资源情形
pidstat主要用于监控所有或指定历程占用系统资源的情形,如CPU,内存、装备IO、使命切换、线程等 。
使用要领：pidstat –d interval；pidstat还可以用以统计CPU使用信息：pidstat –u interval；统计内存信息：Pidstat –r interval 。
▲top
top下令的汇总区域显示了五个方面的系统性能信息：
1.负载：时间，上岸用户数，系统平均负载；
2.历程：运行，睡眠，阻止，僵尸；
3.cpu:用户态，焦点态，NICE,空闲，期待IO,中止等；
4.内存：总量，已用，空闲（系统角度），缓冲，缓存；
5.交流分区：总量，已用，空闲
使命区域默认显示：历程ID,有用用户，历程优先级，NICE值，历程使用的虚拟内存，物理内存和共享内存，历程状态，CPU占用率，内存占用率，累计CPU时间，历程下令行信息 。
▲htop
htop 是Linux系统中的一个互动的历程审查器,一个文本模式的应用程序(在控制台或者X终端中),需要ncurses 。
Htop可让用户交互式操作，支持颜色主题，可横向或纵向转动浏览历程列表，并支持鼠标操作 。
与top相比，htop有以下优点：
▪ 可以横向或者纵向转动浏览历程列表，以便看到所有的历程和完整的下令行 。
▪ 在启动上，比top更快 。
▪ 杀历程时不需要输入历程号 。
▪ htop支持鼠标操作 。
▲mpstat
mpstat 是Multiprocessor Statistics的缩写，是实时系统监控工具 。其报告与CPU的一些统计信息，这些信息存放在/proc/stat文件中 。在多CPUs系统里，其不但能审查所有CPU的平均状态信息，并且能够审查特定CPU的信息 。常见用法：mpstat –P ALL interval times 。
▲netstat
Netstat用于显示与IP、TCP、UDP和ICMP协议相关的统计数据，一样平常用于磨练本机各端口的网络毗连情形 。
▲常见用法：
netstat –npl 可以审查你要翻开的端口是否已经翻开 。
netstat –rn 打印路由表信息 。
netstat –in 提供系统上的接口信息，打印每个接口的MTU,输入分组数，输入过失，输出分组数，输蜕化误，冲突以及目今的输出行列的长度 。
▲ps–显示目今历程的状态
ps参数太多，详细使用要领可以参考man ps，常用的要领：ps aux #hsserver；ps –ef |grep #hundsun
▪ 杀掉某一程序的要领：ps aux | grep mysqld | grep –v grep | awk ‘{print $2 }’ xargs kill -9
▪ 杀掉僵尸历程：ps –eal | awk ‘{if ($2 == “Z”){print $4}}’ | xargs kill -9
▲strace
跟踪程序执行历程中爆发的系统挪用及吸收到的信号，资助剖析程序或下令执行中遇到的异常情形 。
举例：审查mysqld在linux上加载哪种设置文件，可以通过运行下面的下令：strace –e stat64 mysqld –print –defaults > /dev/null
▲uptime
能够打印系统总共运行了多长时间和系统的平均负载，uptime下令最后输出的三个数字的寄义划分是1分钟，5分钟，15分钟内系统的平均负荷 。
▲lsof
lsof(list open files)是一个列出目今系统翻开文件的工具 。通过lsof工具能够审查这个列表对系统检测及排错，常见的用法：
审查文件系统壅闭 lsof /boot
审查端口号被哪个历程占用 lsof -i : 3306
审查用户翻开哪些文件 lsof –u username
审查历程翻开哪些文件 lsof –p 4838
审查远程已翻开的网络链接 lsof –i @192.168.34.128
▲perf
perf是Linux kernel自带的系统性能优化工具 。优势在于与Linux Kernel的细密团结，它可以最先应用到加入Kernel的new feature，用于审查热门函数，审查cashe miss的比率，从而资助开发者来优化程序性能 。
性能调优工具如 perf，Oprofile 等的基来源理都是对被监测工具举行采样，最简朴的情形是凭证 tick 中止举行采样，即在 tick 中止内触发采样点，在采样点里判断程序其时的上下文 。若是一个程序 90% 的时间都破费在函数 foo() 上，那么 90% 的采样点都应该落在函数 foo() 的上下文中 。运气不可捉摸，但我想只要采样频率足够高，采样时间足够长，那么以上推论就较量可靠 。因此，通过 tick 触发采样，我们便可以相识程序中哪些地方最耗时间，从而重点剖析 。
想要更深的相识本工具可以参考：
http://blog.csdn.net/trochiluses/article/details/10261339
汇总：团结以上常用的性能测试下令并联系文初的性能剖析工具的图，就可以起源相识到性能剖析历程中哪个方面的性能使用哪方面的工具（下令） 。
【常用的性能测试工具】
熟练并醒目了第二部分的性能剖析下令工具，引入几个性能测试的工具，先容之前先简朴相识几个性能测试工具：
▪ perf_events: 一款随 Linux 内核代码一同宣布和维护的性能诊断工具，由内核社区维护和生长 。Perf 不但可以用于应用程序的性能统计剖析，也可以应用于内核代码的性能统计和剖析 。
更多参考：http://blog.sina.com.cn/s/blog_98822316010122ex.html 。
▪ eBPF tools: 一款使用bcc举行的性能追踪的工具,eBPF map可以使用定制的eBPF程序被普遍应用于内核调优方面，也可以读取用户级的异步代码 。主要的是这个外部的数据可以在用户空间治理 。这个k-v名堂的map数据体是通过在用户空间挪用bpf系统挪用建设、添加、删除等操作治理的 。more: http://blog.csdn.net/ljy1988123/article/details/50444693 。
▪ perf-tools: 一款基于 perf_events (perf) 和 ftrace 的Linux性能剖析调优工具集 。Perf-Tools 依赖库少，使用简朴 。支持Linux 3.2 及以上内核版本 。more: https://github.com/brendangregg/perf-tools 。
▪ bcc(BPF Compiler Collection): 一款使用eBPF的perf性能剖析工具 。一个用于建设高效的内核跟踪和操作程序的工具包，包括几个有用的工具和示例 。使用扩展的BPF（伯克利数据包过滤器），正式称为eBPF，一个新的功效，首先被添加到Linux 3.15 。多用途需要Linux 4.1以上BCC 。
更多参考：https://github.com/iovisor/bcc#tools 。
▪ ktap: 一种新型的linux剧本动态性能跟踪工具 。允许用户跟踪Linux内核动态 。ktap是设计给具有互操作性，允许用户调解操作的看法，扫除故障和延伸内核和应用程序 。它类似于Linux和Solaris DTrace SystemTap 。更多参考：https://github.com/ktap/ktap 。
▪ Flame Graphs:是一款使用perf,system tap,ktap可视化的图形软件，允许最频仍的代码路径快速准确地识别，可以是使用github.com/brendangregg/flamegraph中的开起源代码的程序天生 。
更多参考：http://www.brendangregg.com/flamegraphs.html 。
一、 Linux observability tools | Linux 性能视察工具
▪ 首先学习的Basic Tool有如下：
uptime、top(htop)、mpstat、isstat、vmstat、free、ping、nicstat、dstat 。
▪ 高级的下令如下：
sar、netstat、pidstat、strace、tcpdump、blktrace、iotop、slabtop、sysctl、/proc 。
更多参考：http://www.open-open.com/lib/view/open1434589043973.html，详细的下令使用要领可以参考man
二、Linux benchmarking tools | Linux 性能测评工具
是一款性能测评工具，关于差别�？榈男阅懿馐钥梢允褂孟煊Φ墓ぞ�，想要深入相识，可以参考最下文的附件文档 。
三、Linux tuning tools | Linux 性能调优工具
是一款性能调优工具，主要是从linux内核源码层举行的调优，想要深入相识，可以参考下文附件文档 。
四、Linux observability sar | linux性能视察工具
sar（System Activity Reporter系统运动情形报告）是现在LINUX上最为周全的系统性能剖析工具之一，可以从多方面临系统的运动举行报告，包括：文件的读写情形、系统挪用的使用情形、磁盘I/O、CPU效率、内存使用状态、历程运动及IPC有关的运动等方面 。
sar的常归使用方法：sar [options] [-A] [-o file] t [n]
其中：
t为采样距离，n为采样次数，默认值是1；
-o file体现将下令效果以二进制名堂存放在文件中，file 是文件名 。
options 为下令行选项
以上就是超全整理 – Linux性能剖析工具汇总合集的详细内容，更多请关注本网内其它相关文章！
