乐趣区

关于java:JVM下篇性能监控与调优篇01概述篇02JVM监控及诊断工具命令行篇

https://gitee.com/vectorx/NOT…

https://codechina.csdn.net/qq…

https://github.com/uxiahnan/N…

[TOC]

1. 概述篇

1.1. 大厂面试题

<mark> 支付宝:</mark>

支付宝三面:JVM 性能调优都做了什么?

<mark> 小米:</mark>

有做过 JVM 内存优化吗?

从 SQL、JVM、架构、数据库四个方面讲讲优化思路

<mark> 蚂蚁金服:</mark>

JVM 的编译优化

jvm 性能调优都做了什么

JVM 诊断调优工具用过哪些?

二面:jvm 怎么调优,堆内存、栈空间设置多少适合

三面:JVM 相干的剖析工具应用过的有哪些?具体的性能调优步骤如何

<mark> 阿里:</mark>

如何进行 JVM 调优?有哪些办法?

如何了解内存透露问题?有哪些状况会导致内存透露?如何解决?

<mark> 字节跳动:</mark>

三面:JVM 如何调优、参数怎么调?

<mark> 拼多多:</mark>

从 SQL、JVM、架构、数据库四个方面讲讲优化思路

<mark> 京东:</mark>

JVM 诊断调优工具用过哪些?

每秒几十万并发的秒杀零碎为什么会频繁产生 GC?

日均百万级交易系统如何优化 JVM?

线上生产零碎 OOM 如何监控及定位与解决?

高并发零碎如何基于 G1 垃圾回收器优化性能?

1.2. 背景阐明

生产环境中的问题

  • 生产环境产生了内存溢出该如何解决?
  • 生产环境应该给服务器调配多少内存适合?
  • 如何对垃圾回收器的性能进行调优?
  • 生产环境 CPU 负载飙高该如何解决?
  • 生产环境应该给利用调配多少线程适合?
  • 不加 log,如何确定申请是否执行了某一行代码?
  • 不加 log,如何实时查看某个办法的入参加返回值?

为什么要调优

  • 防止出现 OOM
  • 解决 OOM
  • 缩小 Full GC 呈现的频率

不同阶段的思考

  • 上线前
  • 我的项目运行阶段
  • 线上呈现 OOM

1.3. 调优概述

监控的根据

  • 运行日志
  • 异样堆栈
  • GC 日志
  • 线程快照
  • 堆转储快照

调优的大方向

  • 正当地编写代码
  • 充沛并正当的应用硬件资源
  • 正当地进行 JVM 调优

1.4. 性能优化的步骤

第 1 步:性能监控

  • GC 频繁
  • cpu load 过高
  • OOM
  • 内存泄露
  • 死锁
  • 程序响应工夫较长

第 2 步:性能剖析

  • 打印 GC 日志,通过 GCviewer 或者 http://gceasy.io 来剖析异样信息
  • 灵活运用命令行工具、jstack、jmap、jinfo 等
  • dump 出堆文件,应用内存剖析工具剖析文件
  • 应用阿里 Arthas、jconsole、JVisualVM 来实时查看 JVM 状态
  • jstack 查看堆栈信息

第 3 步:性能调优

  • 适当减少内存,依据业务背景抉择垃圾回收器
  • 优化代码,管制内存应用
  • 减少机器,扩散节点压力
  • 正当设置线程池线程数量
  • 应用中间件进步程序效率,比方缓存、音讯队列等
  • 其余……

1.5. 性能评估 / 测试指标

进展工夫(或响应工夫)

提交申请和返回该申请的响应之间应用的工夫,个别比拟关注均匀响应工夫。罕用操作的响应工夫列表:

操作 响应工夫
关上一个站点 几秒
数据库查问一条记录(有索引) 十几毫秒
机械磁盘一次寻址定位 4 毫秒
从机械磁盘程序读取 1M 数据 2 毫秒
从 SSD 磁盘程序读取 1M 数据 0.3 毫秒
从近程分布式换成 Redis 读取一个数据 0.5 毫秒
从内存读取 1M 数据 十几奥妙
Java 程序本地办法调用 几奥妙
网络传输 2Kb 数据 1 奥妙

在垃圾回收环节中:

  • 暂停工夫:执行垃圾收集时,程序的工作线程被暂停的工夫。
  • -XX:MaxGCPauseMillis

吞吐量

  • 对单位工夫内实现的工作量(申请)的量度
  • 在 GC 中:运行用户代码的事件占总运行工夫的比例(总运行工夫:程序的运行工夫 + 内存回收的工夫)
  • 吞吐量为 1 -1/(1+n),其中 -XX::GCTimeRatio=n

并发数

  • 同一时刻,对服务器有理论交互的申请数

内存占用

  • Java 堆区所占的内存大小

相互间的关系

以高速公路通行情况为例

  • 吞吐量:每天通过高速公路收费站的车辆的数据
  • 并发数:高速公路上正在行驶的车辆的数目
  • 响应工夫:车速

<hr/>

2. JVM 监控及诊断工具 - 命令行篇

2.1. 概述

性能诊断是软件工程师在日常工作中须要常常面对和解决的问题,在用户体验至上的明天,解决好利用的性能问题能带来十分大的收益。

Java 作为最风行的编程语言之一,其利用性能诊断始终受到业界宽泛关注。可能造成 Java 利用呈现性能问题的因素十分多,例如线程管制、磁盘读写、数据库拜访、网络 I /O、垃圾收集等。想要定位这些问题,一款优良的性能诊断工具必不可少。

领会 1:应用数据阐明问题,应用常识剖析问题,应用工具解决问题。

领会 2:无监控、不调优!

简略命令行工具

在咱们刚接触 java 学习的时候,大家必定最先理解的两个命令就是 javac,java,那么除此之外,还有没有其余的命令能够供咱们应用呢?

咱们进入到装置 jdk 的 bin 目录,发现还有一系列辅助工具。这些辅助工具用来获取指标 JVM 不同方面、不同档次的信息,帮忙开发人员很好地解决 Java 应用程序的一些疑难杂症。

官网源码地址:http://hg.openjdk.java.net/jdk/jdk11/file/1ddf9a99e4ad/src/jdk.jcmd/share/classes/sun/tools

2.2. jps:查看正在运行的 Java 过程

jps(Java Process Status):显示指定零碎内所有的 HotSpot 虚拟机过程(查看虚拟机过程信息),可用于查问正在运行的虚拟机过程。

阐明:对于本地虚拟机过程来说,过程的本地虚拟机 ID 与操作系统的过程 ID 是统一的,是惟一的。

根本应用语法为:jps [options] [hostid]

咱们还能够通过追加参数,来打印额定的信息。

options 参数

  • -q:仅仅显示 LVMID(local virtual machine id),即本地虚拟机惟一 id。不显示主类的名称等
  • -l:输入应用程序主类的全类名 或 如果过程执行的是 jar 包,则输入 jar 残缺门路
  • -m:输入虚拟机过程启动时传递给主类 main() 的参数
  • -v:列出虚拟机过程启动时的 JVM 参数。比方:-Xms20m -Xmx50m 是启动程序指定的 jvm 参数。

阐明:以上参数能够综合应用。

补充:如果某 Java 过程敞开了默认开启的 UsePerfData 参数(即应用参数 -XX:-UsePerfData),那么 jps 命令(以及上面介绍的 jstat)将无奈探知该 Java 过程。

hostid 参数

RMI 注册表中注册的主机名。如果想要近程监控主机上的 java 程序,须要装置 jstatd。

对于具备更严格的平安实际的网络场合而言,可能应用一个自定义的策略文件来显示对特定的可信主机或网络的拜访,只管这种技术容易受到 IP 地址欺诈攻打。

如果平安问题无奈应用一个定制的策略文件来解决,那么最平安的操作是不运行 jstatd 服务器,而是在本地应用 jstat 和 jps 工具。

2.3. jstat:查看 JVM 统计信息

jstat(JVM Statistics Monitoring Tool):用于监督虚拟机各种运行状态信息的命令行工具。它能够显示本地或者近程虚拟机过程中的类装载、内存、垃圾收集、JIT 编译等运行数据。在没有 GUI 图形界面,只提供了纯文本控制台环境的服务器上,它将是运行期定位虚拟机性能问题的首选工具。罕用于检测垃圾回收问题以及内存透露问题。

官网文档:https://docs.oracle.com/javase/8/docs/technotes/tools/unix/jstat.html

根本应用语法为:jstat -<option> [-t] [-h<lines>] <vmid> [<interval> [<count>]]

查看命令相干参数:jstat-h 或 jstat-help

其中 vmid 是过程 id 号,也就是 jps 之后看到的后面的号码,如下:

option 参数

选项 option 能够由以下值形成。

<mark> 类装载相干的:</mark>

  • -class:显示 ClassLoader 的相干信息:类的装载、卸载数量、总空间、类装载所耗费的工夫等

<mark> 垃圾回收相干的:</mark>

  • -gc:显示与 GC 相干的堆信息。包含 Eden 区、两个 Survivor 区、老年代、永恒代等的容量、已用空间、GC 工夫共计等信息。
  • -gccapacity:显示内容与 -gc 基本相同,但输入次要关注 Java 堆各个区域应用到的最大、最小空间。
  • -gcutil:显示内容与 -gc 基本相同,但输入次要关注已应用空间占总空间的百分比。
  • -gccause:与 -gcutil 性能一样,然而会额定输入导致最初一次或以后正在产生的 GC 产生的起因。
  • -gcnew:显示新生代 GC 情况
  • -gcnewcapacity:显示内容与 -gcnew 基本相同,输入次要关注应用到的最大、最小空间
  • -geold:显示老年代 GC 情况
  • -gcoldcapacity:显示内容与 -gcold 基本相同,输入次要关注应用到的最大、最小空间
  • -gcpermcapacity:显示永恒代应用到的最大、最小空间。

<mark>JIT 相干的:</mark>

  • -compiler:显示 JIT 编译器编译过的办法、耗时等信息
  • -printcompilation:输入曾经被 JIT 编译的办法

jstat -class

jstat -compiler

jstat -printcompilation

jstat -gc

jstat -gccapacity

jstat -gcutil

jstat -gccause

jstat -gcnew

jstat -gcnewcapacity

jstat -gcold

jstat -gcoldcapacity

jstat -t

jstat -t -h

表头 含意(字节)
EC Eden 区的大小
EU Eden 区已应用的大小
S0C 幸存者 0 区的大小
S1C 幸存者 1 区的大小
S0U 幸存者 0 区已应用的大小
S1U 幸存者 1 区已应用的大小
MC 元空间的大小
MU 元空间已应用的大小
OC 老年代的大小
OU 老年代已应用的大小
CCSC 压缩类空间的大小
CCSU 压缩类空间已应用的大小
YGC 从应用程序启动到采样时 young gc 的次数
YGCT 从应用程序启动到采样时 young gc 耗费工夫(秒)
FGC 从应用程序启动到采样时 full gc 的次数
FGCT 从应用程序启动到采样时的 full gc 的耗费工夫(秒)
GCT 从应用程序启动到采样时 gc 的总工夫

interval 参数: 用于指定输入统计数据的周期,单位为毫秒。即:查问距离

count 参数: 用于指定查问的总次数

- t 参数: 能够在输入信息前加上一个 Timestamp 列,显示程序的运行工夫。单位:秒

- h 参数: 能够在周期性数据输入时,输入多少行数据后输入一个表头信息

补充: jstat 还能够用来判断是否呈现内存透露。

第 1 步:在长时间运行的 Java 程序中,咱们能够运行 jstat 命令间断获取多行性能数据,并取这几行数据中 OU 列(即已占用的老年代内存)的最小值。

第 2 步:而后,咱们每隔一段较长的工夫反复一次上述操作,来取得多组 OU 最小值。如果这些值呈上涨趋势,则阐明该 Java 程序的老年代内存已使用量在一直上涨,这意味着无奈回收的对象在一直减少,因而很有可能存在内存透露。

2.4. jinfo:实时查看和批改 JVM 配置参数

jinfo(Configuration Info for Java):查看虚拟机配置参数信息,也可用于调整虚拟机的配置参数。在很多状况卡,Java 应用程序不会指定所有的 Java 虚拟机参数。而此时,开发人员可能不晓得某一个具体的 Java 虚拟机参数的默认值。在这种状况下,可能须要通过查找文档获取某个参数的默认值。这个查找过程可能是十分艰巨的。但有了 jinfo 工具,开发人员能够很不便地找到 Java 虚拟机参数的以后值。

根本应用语法为:jinfo [options] pid

阐明:java 过程 ID 必须要加上

选项 选项阐明
no option 输入全副的参数和零碎属性
-flag name 输入对应名称的参数
-flag [+-]name 开启或者敞开对应名称的参数 只有被标记为 manageable 的参数才能够被动静批改
-flag name=value 设定对应名称的参数
-flags 输入全副的参数
-sysprops 输入零碎属性

jinfo -sysprops

> jinfo -sysprops
jboss.modules.system.pkgs = com.intellij.rt
java.vendor = Oracle Corporation
sun.java.launcher = SUN_STANDARD
sun.management.compiler = HotSpot 64-Bit Tiered Compilers
catalina.useNaming = true
os.name = Windows 10
...

jinfo -flags

> jinfo -flags 25592
Non-default VM flags: -XX:CICompilerCount=4 -XX:InitialHeapSize=333447168 -XX:MaxHeapSize=5324668928 -XX:MaxNewSize=1774714880 -XX:MinHeapDeltaBytes=524288 -XX:NewSize=111149056 -XX:OldSize=222298112 -XX:+UseCompressedClassPointers -XX:+UseCompressedOops -XX:+UseFastUnorderedTimeStamps -XX:-UseLargePagesIndividualAllocation -XX:+UseParallelGC
Command line:  -agentlib:jdwp=transport=dt_socket,address=127.0.0.1:8040,suspend=y,server=n -Drebel.base=C:\Users\Vector\.jrebel -Drebel.env.ide.plugin.version=2021.1.2 -Drebel.env.ide.version=2020.3.3 -Drebel.env.ide.product=IU -Drebel.env.ide=intellij -Drebel.notification.url=http://localhost:7976 -agentpath:C:\Users\Vector\AppData\Roaming\JetBrains\IntelliJIdea2020.3\plugins\jr-ide-idea\lib\jrebel6\lib\jrebel64.dll -Dmaven.home=D:\eclipse\env\maven -Didea.modules.paths.file=C:\Users\Vector\AppData\Local\JetBrains\IntelliJIdea2020.3\Maven\idea-projects-state-596682c7.properties -Dclassworlds.conf=C:\Users\Vector\AppData\Local\Temp\idea-6755-mvn.conf -Dmaven.ext.class.path=D:\IDEA\plugins\maven\lib\maven-event-listener.jar -javaagent:D:\IDEA\plugins\java\lib\rt\debugger-agent.jar -Dfile.encoding=UTF-8

jinfo -flag

> jinfo -flag UseParallelGC 25592
-XX:+UseParallelGC

> jinfo -flag UseG1GC 25592
-XX:-UseG1GC

jinfo -flag name

> jinfo -flag UseParallelGC 25592
-XX:+UseParallelGC

> jinfo -flag UseG1GC 25592
-XX:-UseG1GC

jinfo -flag [+-]name

> jinfo -flag +PrintGCDetails 25592
> jinfo -flag PrintGCDetails 25592
-XX:+PrintGCDetails

> jinfo -flag -PrintGCDetails 25592
> jinfo -flag PrintGCDetails 25592
-XX:-PrintGCDetails

拓展:

  • java -XX:+PrintFlagsInitial 查看所有 JVM 参数启动的初始值

    [Global flags]
         intx ActiveProcessorCount                      = -1                                  {product}
        uintx AdaptiveSizeDecrementScaleFactor          = 4                                   {product}
        uintx AdaptiveSizeMajorGCDecayTimeScale         = 10                                  {product}
        uintx AdaptiveSizePausePolicy                   = 0                                   {product}
    ...
  • java -XX:+PrintFlagsFinal 查看所有 JVM 参数的最终值

    [Global flags]
         intx ActiveProcessorCount                      = -1                                  {product}
    ...
         intx CICompilerCount                          := 4                                   {product}
        uintx InitialHeapSize                          := 333447168                           {product}
        uintx MaxHeapSize                              := 1029701632                          {product}
        uintx MaxNewSize                               := 1774714880                          {product}
  • java -XX:+PrintCommandLineFlags 查看哪些曾经被用户或者 JVM 设置过的具体的 XX 参数的名称和值

    -XX:InitialHeapSize=332790016 -XX:MaxHeapSize=5324640256 -XX:+PrintCommandLineFlags -XX:+UseCompressedClassPointers -XX:+UseCompressedOops -XX:-UseLargePagesIndividualAllocation -XX:+UseParallelGC 

2.5. jmap:导出内存映像文件 & 内存应用状况

jmap(JVM Memory Map):作用一方面是获取 dump 文件(堆转储快照文件,二进制文件),它还能够获取指标 Java 过程的内存相干信息,包含 Java 堆各区域的应用状况、堆中对象的统计信息、类加载信息等。开发人员能够在控制台中输出命令“jmap -help”查阅 jmap 工具的具体应用形式和一些规范选项配置。

官网帮忙文档:https://docs.oracle.com/en/java/javase/11/tools/jmap.html

根本应用语法为:

  • jmap [option] <pid>
  • jmap [option] <executable <core>
  • jmap [option] [server_id@] <remote server IP or hostname>
选项 作用
-dump 生成 dump 文件(Java 堆转储快照),-dump:live 只保留堆中的存活对象
-heap 输入整个堆空间的详细信息,包含 GC 的应用、堆配置信息,以及内存的应用信息等
-histo 输入堆空间中对象的统计信息,包含类、实例数量和共计容量,-histo:live 只统计堆中的存活对象
-J <flag> 传递参数给 jmap 启动的 jvm
-finalizerinfo 显示在 F -Queue 中期待 Finalizer 线程执行 finalize 办法的对象,仅 linux/solaris 平台无效
-permstat 以 ClassLoader 为统计口径输入永恒代的内存状态信息,仅 linux/solaris 平台无效
-F 当虚拟机过程对 -dump 选项没有任何响应时,强制执行生成 dump 文件,仅 linux/solaris 平台无效

阐明:这些参数和 linux 下输出显示的命令多少会有不同,包含也受 jdk 版本的影响。

> jmap -dump:format=b,file=<filename.hprof> <pid>> jmap -dump:live,format=b,file=<filename.hprof> <pid>

因为 jmap 将拜访堆中的所有对象,为了保障在此过程中不被利用线程烦扰,jmap 须要借助平安点机制,让所有线程停留在不扭转堆中数据的状态。也就是说,由 jmap 导出的堆快照必然是平安点地位的。这可能导致基于该堆快照的剖析后果存在偏差。

举个例子,假如在编译生成的机器码中,某些对象的生命周期在两个平安点之间,那么:live 选项将无奈探知到这些对象。

另外,如果某个线程长时间无奈跑到平安点,jmap 将始终等上来。与后面讲的 jstat 则不同,垃圾回收器会被动将 jstat 所须要的摘要数据保留至固定地位之中,而 jstat 只需间接读取即可。

2.6. jhat:JDK 自带堆剖析工具

jhat(JVM Heap Analysis Tool):Sun JDK 提供的 jhat 命令与 jmap 命令搭配应用,用于剖析 jmap 生成的 heap dump 文件(堆转储快照)。jhat 内置了一个微型的 HTTP/HTML 服务器,生成 dump 文件的剖析后果后,用户能够在浏览器中查看剖析后果(剖析虚拟机转储快照信息)。

应用了 jhat 命令,就启动了一个 http 服务,端口是 7000,即 http://localhost:7000/,就可 …

阐明:jhat 命令在 JDK9、JDK10 中曾经被删除,官网倡议用 VisualVM 代替。

根本实用语法:jhat <option> <dumpfile>

option 参数 作用
-stack false|true 敞开|关上对象调配调用栈跟踪
-refs false|true 敞开|关上对象援用跟踪
-port port-number 设置 jhat HTTP Server 的端口号,默认 7000
-exclude exclude-file 执行对象查问时须要排除的数据成员
-baseline exclude-file 指定一个基准堆转储
-debug int 设置 debug 级别
-version 启动后显示版本信息就退出
-J <flag> 传入启动参数,比方 -J-Xmx512m

2.7. jstack:打印 JVM 中线程快照

jstack(JVM Stack Trace):用于生成虚拟机指定过程以后时刻的线程快照(虚拟机堆栈跟踪)。线程快照就是以后虚拟机内指定过程的每一条线程正在执行的办法堆栈的汇合。

生成线程快照的作用:可用于定位线程呈现长时间进展的起因,如线程间死锁、死循环、申请内部资源导致的长时间期待等问题。这些都是导致线程长时间进展的常见起因。当线程呈现进展时,就能够用 jstack 显示各个线程调用的堆栈状况。

官网帮忙文档:https://docs.oracle.com/en/java/javase/11/tools/jstack.html

在 thread dump 中,要注意上面几种状态

  • <mark> 死锁,Deadlock(重点关注)</mark>
  • <mark> 期待资源,Waiting on condition(重点关注)</mark>
  • <mark> 期待获取监视器,Waiting on monitor entry(重点关注)</mark>
  • <mark> 阻塞,Blocked(重点关注)</mark>
  • 执行中,Runnable
  • 暂停,Suspended
  • 对象期待中,Object.wait() 或 TIMED_WAITING
  • 进行,Parked
option 参数 作用
-F 当失常输入的申请不被响应时,强制输入线程堆栈
-l 除堆栈外,显示对于锁的附加信息
-m 如果调用本地办法的话,能够显示 C /C++ 的堆栈

2.8. jcmd:多功能命令行

在 JDK 1.7 当前,新增了一个命令行工具 jcmd。它是一个多功能的工具,能够用来实现后面除了 jstat 之外所有命令的性能。比方:用它来导出堆、内存应用、查看 Java 过程、导出线程信息、执行 GC、JVM 运行工夫等。

官网帮忙文档:https://docs.oracle.com/en/java/javase/11/tools/jcmd.html

jcmd 领有 jmap 的大部分性能,并且在 Oracle 的官方网站上也举荐应用 jcmd 命令代 jmap 命令

jcmd -l: 列出所有的 JVM 过程

jcmd 过程号 help: 针对指定的过程,列出反对的所有具体命令

jcmd 过程号 具体命令: 显示指定过程的指令命令的数据

  • Thread.print 能够替换 jstack 指令
  • GC.class_histogram 能够替换 jmap 中的 -histo 操作
  • GC.heap_dump 能够替换 jmap 中的 -dump 操作
  • GC.run 能够查看 GC 的执行状况
  • VM.uptime 能够查看程序的总执行工夫,能够替换 jstat 指令中的 - t 操作
  • VM.system_properties 能够替换 jinfo -sysprops 过程 id
  • VM.flags 能够获取 JVM 的配置参数信息

2.9. jstatd:近程主机信息收集

之前的指令只波及到监控本机的 Java 应用程序,而在这些工具中,一些监控工具也反对对近程计算机的监控(如 jps、jstat)。为了启用近程监控,则须要配合应用 jstatd 工具。命令 jstatd 是一个 RMI 服务端程序,它的作用相当于代理服务器,建设本地计算机与近程监控工具的通信。jstatd 服务器将本机的 Java 应用程序信息传递到近程计算机。

退出移动版