死磕JVM | 用Arthas排查JVM內(nèi)存真爽！

作者：牧小農(nóng) 2021-06-01 09:29:43

Arthas 是Alibaba開源的Java診斷工具，采用命令行交互模式，提供了較為豐富的功能，主要還是他是免費(fèi)里面的算是好用且功能比較強(qiáng)大的一個(gè)JVM排查的插件，在了解這個(gè)利器之后，發(fā)現(xiàn)還是挺好用的，而且支持的功能也比較全面，那么Arthas到底可以為我們做哪些事情呢?

[[402910]]

本文轉(zhuǎn)載自微信公眾號(hào)「牧小農(nóng)」，作者牧小農(nóng)。轉(zhuǎn)載本文請聯(lián)系牧小農(nóng)公眾號(hào)。

Arthas是啥

當(dāng)我們系統(tǒng)遇到JVM或者內(nèi)存溢出等問題的時(shí)候，如何對我們的程序進(jìn)行有效的監(jiān)控和排查，就發(fā)現(xiàn)了幾個(gè)比較常用的工具，比如JDK自帶的 jconsole、jvisualvm還有一個(gè)最好用的工具——jprofiler，但是這個(gè)是收費(fèi)的，或者除了很有錢的公司，一般很少人會(huì)用這個(gè)，還有一個(gè)就是我們今天的主角——Arthas ，為什么今天會(huì)重點(diǎn)講這個(gè)呢?

官網(wǎng)地址：http://arthas.gitee.io/

GitHub地址：https://github.com/alibaba/arthas/

1.提供性能看板，包括線程、cpu、內(nèi)存等信息，并且會(huì)定時(shí)的刷新。

2.根據(jù)各種條件查看線程快照。找出cpu占用率最高的n個(gè)線程

3.輸出jvm的各種信息，如gc算法、jdk版本、ClassPath等

4.遇到問題無法在線上 debug，熱部署加日志直接替換

5.查看某個(gè)類的靜態(tài)屬性，也可以通過ognl語法執(zhí)行一些語句

6.查看已加載的類的詳細(xì)信息，這個(gè)類從哪個(gè)jar包加載的，查看類的方法的信息

7.dump 類的字節(jié)碼到指定目錄

8.直接反編譯指定的類

9.快速定位應(yīng)用的熱點(diǎn)，生成火焰圖

10.可以監(jiān)控到JVM的實(shí)時(shí)運(yùn)行狀態(tài)

以前，你碰到這些問題，解決的辦法大多是，修改代碼，重新上線。但是在大公司里，上線的流程是非常繁瑣的，如果為了多加一行日志而重新發(fā)布版本，無疑是非常折騰人的。但是阿里巴巴開源的Arthas 有了更為優(yōu)雅的線上調(diào)試方法。

Arthas 支持JDK6，同時(shí)可以在 Linux/Mac/Windows上運(yùn)行，自動(dòng)Tab 補(bǔ)全功能，更方便我們定位問題和診斷

下載地址：https://arthas.gitee.io/download.html 你可以下載zip的包我下載的是arthas-packaging-3.5.0-bin.zip 或者通過命令去下載

wget https://alibaba.github.io/arthas/arthas-boot.jar

使用手冊

1. 快速啟動(dòng)

當(dāng)我們下載好之后，我們直接通過命令啟動(dòng)就可以java -jar arthas-boot.jar，但是在此之前我們需要通過檢測的代碼來掛靠到Arthas上面

import java.math.BigDecimal; 
import java.util.ArrayList; 
import java.util.Date; 
import java.util.List; 
import java.util.concurrent.ScheduledThreadPoolExecutor; 
import java.util.concurrent.ThreadPoolExecutor; 
import java.util.concurrent.TimeUnit; 
 
public class FullGCTest { 
 
 
    //模擬銀行卡的類 
    private static class CardInfo { 
        //小農(nóng)的銀行卡信息記錄 
        BigDecimal price = new BigDecimal(10000000.0); 
        String name = "牧小農(nóng)"; 
        int age = 18; 
        Date birthdate = new Date(); 
 
        public void m() {} 
    } 
 
    //線程池 定時(shí)線程池 
    //50個(gè)，然后設(shè)置 拒絕策略 
    private static ScheduledThreadPoolExecutor executor = new ScheduledThreadPoolExecutor(50, 
            new ThreadPoolExecutor.DiscardOldestPolicy()); 
 
    public static void main(String[] args) throws Exception { 
        executor.setMaximumPoolSize(50); 
 
        for (;;){ 
            modelFit(); 
            Thread.sleep(100); 
        } 
    } 
 
    /** 
     * 對銀行卡進(jìn)行風(fēng)險(xiǎn)評估 
     */ 
    private static void modelFit(){ 
        List<CardInfo> taskList = getAllCardInfo(); 
        //拿出每一個(gè)信息出來 
        taskList.forEach(info -> { 
            // do something 
            executor.scheduleWithFixedDelay(() -> { 
                //調(diào)用M方法 
                info.m(); 
 
            }, 2, 3, TimeUnit.SECONDS); 
        }); 
    } 
 
    private static List<CardInfo> getAllCardInfo(){ 
        List<CardInfo> taskList = new ArrayList<>(); 
        //每次查詢100張卡出來 
        for (int i = 0; i < 100; i++) { 
            CardInfo ci = new CardInfo(); 
            taskList.add(ci); 
        } 
 
        return taskList; 
    } 
}

這個(gè)是上篇文章講述的案例，感興趣的可以了解一下。

首先我們需要使用javac 命令將Java文件進(jìn)行編譯javac FullGCTest.java進(jìn)行編譯，然后打印GC日志，進(jìn)行風(fēng)險(xiǎn)監(jiān)控打印GC日志：

java -Xms200M -Xmx200M -XX:+PrintGC FullGCTest

Arthas啟動(dòng)命令：java -jar arthas-boot.jar，get一下

我們就看到了我們剛才啟動(dòng)的FullGCTest的應(yīng)用程序，我們輸入編號(hào) 1 回車，這樣我們就把Arthas掛靠到我們的程序上，接下來我們只需要做對應(yīng)的命令操作就可以了

命令詳情文檔：https://arthas.aliyun.com/doc/commands.html

2. 功能列表

命令	詳細(xì)說明
jvm	查看當(dāng)前JVM信息
thread	查看當(dāng)前JVM的線程堆棧信息
watch	方法執(zhí)行數(shù)據(jù)觀測
dashboard	當(dāng)前系統(tǒng)的實(shí)時(shí)數(shù)據(jù)面板
trace	方法內(nèi)部調(diào)用路徑，并輸出方法路徑上的每個(gè)節(jié)點(diǎn)上耗時(shí)
stack	輸出當(dāng)前方法被調(diào)用的調(diào)用路徑
tt	方法執(zhí)行數(shù)據(jù)的時(shí)空隧道，記錄下指定方法每次調(diào)用的入?yún)⒑头祷匦畔ⅲ⒛軐@些不同的時(shí)間下調(diào)用進(jìn)行觀測
vmoption	查看，更新JVM已加載的類信息
sc	查看JVM已加載的類信息
sm	查看已加載類的方法信息
jad	反編譯指定已加載類的源碼
classloader	查看classloader的繼承樹，urls，類加載信息
heapdump	類似jmap命令的heap dump 功能

jvm

OPERATING-SYSTEM：系統(tǒng)相關(guān)參數(shù)

THREAD相關(guān)：

COUNT : JVM當(dāng)前活躍的線程數(shù)
DAEMON-COUNT : JVM當(dāng)前活躍的守護(hù)線程數(shù)
PEAK-COUNT: 從JVM啟動(dòng)開始曾經(jīng)活著的最大線程數(shù)
STARTED-COUNT: 從JVM啟動(dòng)開始總共啟動(dòng)過的線程次數(shù)
DEADLOCK-COUNT: JVM當(dāng)前死鎖的線程數(shù)

FILE-DESCRIPTOR(文件描述符相關(guān))：

MAX-FILE-DESCRIPTOR-COUNT：JVM進(jìn)程最大可以打開的文件描述符數(shù)
OPEN-FILE-DESCRIPTOR-COUNT：JVM當(dāng)前打開的文件描述符數(shù)

thread 命令

參數(shù)說明：

命令	詳細(xì)說明
id	線程id
[n:]	指定最忙的前N個(gè)線程并打印堆棧
[b]	找出當(dāng)前阻塞其他線程的線程
[i]	指定cpu使用率統(tǒng)計(jì)的采樣間隔，單位為毫秒，默認(rèn)值為200
[--all]	顯示所有匹配的線程

打印當(dāng)前最忙的N個(gè)線程并打印堆棧

thread -n 3

thread 查看所有線程

thread 17：顯示指定線程的運(yùn)行堆棧

thread -i：指定采樣時(shí)間間隔

thread -i 1000 : 統(tǒng)計(jì)最近1000ms內(nèi)的線程CPU時(shí)間。thread -n 3 -i 1000 : 列出1000ms內(nèi)最忙的3個(gè)線程棧

dashboard 命令

運(yùn)行程序時(shí)，會(huì)顯示當(dāng)前程序的實(shí)時(shí)信息，如qps, rt, 錯(cuò)誤數(shù), 線程池信息等等

數(shù)據(jù)說明：

ID: Java級別的線程ID
NAME: 線程名
GROUP: 線程組名
PRIORITY: 線程優(yōu)先級, 1~10之間的數(shù)字，越大表示優(yōu)先級越高
STATE: 線程的狀態(tài)CPU%: 線程的cpu使用率。比如采樣間隔1000ms，某個(gè)線程的增量cpu時(shí)間為100ms，則cpu使用率=100/1000=10%
DELTA_TIME: 上次采樣之后線程運(yùn)行增量CPU時(shí)間，數(shù)據(jù)格式為秒
TIME: 線程運(yùn)行總CPU時(shí)間，數(shù)據(jù)格式為分:秒
?NTERRUPTED: 線程當(dāng)前的中斷位狀態(tài)
DAEMON: 是否是daemon線程

參數(shù)說明：

參數(shù)名稱	詳細(xì)說明
id	刷新實(shí)時(shí)數(shù)據(jù)的時(shí)間間隔 (ms)，默認(rèn)5000ms
[n:]	刷新實(shí)時(shí)數(shù)據(jù)的次數(shù)

sc 命令

查看JVM已加載的類信息，通過SC我們可以看到我們這個(gè)類的詳細(xì)信息，包括是從哪個(gè)jar包讀取的，他是不是接口/枚舉類等，甚至包括他是從哪個(gè)類加載器加載的。

參數(shù)說明：

參數(shù)名稱	詳細(xì)說明
class-pattern	類名表達(dá)式匹配
method-pattern	方法名表達(dá)式匹配
[d]	輸出當(dāng)前類的詳細(xì)信息，包括這個(gè)類所加載的原始文件來源、類的聲明、加載的ClassLoader等詳細(xì)信息。如果一個(gè)類被多個(gè)ClassLoader所加載，則會(huì)出現(xiàn)多次
[E]	開啟正則表達(dá)式匹配，默認(rèn)為通配符匹配

sc -d *CardInfo：打印類的詳細(xì)信息

sc -d -f *CardInfo：打印類的Fiedld信息

heapdump + jhat分析

heapdump：類似于jmap命令

創(chuàng)建到指定文件夾下：

[arthas@365564]$ heapdump /usr/local/mxn/dump.hprof Dumping heap to /usr/local/mxn/dump.hprof ... Heap dump file created

創(chuàng)建成功后，我們就可以在指定文件夾下看到對應(yīng)的dump文件，然后使用命令jhat dump.hprof，生成文件，成功后我們就可以通過IP+端口進(jìn)行訪問了

訪問：

然后我們就可以通過IP+端口去訪問它了，里面有個(gè)他的other，我們拉到最底下，找

Show instance counts for all classes (including platform)

從下面我們可以分析出來哪個(gè)類包含的對象最多，分析出來哪個(gè)類產(chǎn)生的對象

這個(gè)里面最強(qiáng)大的功能還是叫做 Execute Object Query Language (OQL) query，這個(gè)里面可以顯示有哪些對象，對象有多少個(gè)字節(jié)和引用，可以觀察到哪個(gè)對象產(chǎn)生了問題，如下圖所示，顯示所有String對應(yīng)的對象

搜索點(diǎn)進(jìn)去之后我們還能看到這個(gè)對象到底占用了多少個(gè)字節(jié)，有多少個(gè)引用指向了這個(gè)Object，這個(gè)OQL的語法也是很靈活，我們可以使用where條件去過濾

jad

jad：反編譯某個(gè)類，或者反編譯某個(gè)類的某個(gè)方法，動(dòng)態(tài)代理生成類的問題定位第三方的類(觀察代碼) 版本問題(確定自己最新提交的版本是不是被使用)

有人可能會(huì)問這個(gè)有啥用，源碼我不是自己就知道嗎?因?yàn)橛袝r(shí)我們經(jīng)常會(huì)不確定線上或者測試環(huán)境的包是否是我們修改過的，這時(shí)候就可以通過jad反編譯來看下，是否是最新的代碼

redafine

redafine：熱替換，動(dòng)態(tài)更新代碼，不用重啟jvm目前有些限制條件：只能改方法實(shí)現(xiàn)(方法已經(jīng)運(yùn)行完成)，不能改方法名，不能改屬性 m() -> mm()

比如我們在線上環(huán)境有個(gè)class確認(rèn)有問題，想要重新替換，一般情況下只能停掉服務(wù)器重新發(fā)布，在普通的小公司這樣是可以的，但是在大規(guī)模公司京東淘寶這樣的是不能停的，因?yàn)檎麄€(gè)流程是非常復(fù)雜的，那怎么辦呢?大家可以看到下面的案例

首先我們新建一個(gè)測試案例：

public class T{ 
    public static void main(String[] args) throws Exception{ 
                    for(;;){ 
                    System.in.read(); 
                    new TT().m(); 
                } 
        } 
}

public class TT{ 
        public void m(){ 
        System.out.println(2); 
    } 
}

使用命令javac *.java，編譯成class文件，然后運(yùn)行 T 文件

[root@VM-0-7-centos t]# java T 
a 
2 
2

當(dāng)我們輸入a的時(shí)候打印2，但是我們上線以后才發(fā)現(xiàn)，我們需要輸出的1，這個(gè)是如果要從本地更改要重新發(fā)布上線，為了這一個(gè)修改，明顯是不值當(dāng)?shù)模侨绻覀冇? redafine 熱部署就可以幫助我們直接替換，不用重新發(fā)布jvm

然后我們將 T 這個(gè)程序掛靠到 Arthas 上面去

然后我們直接修改 TT.java 程序 vi TT.java，將里面打印2的值修改成1

public class TT{ 
        public void m(){ 
            System.out.println(1); 
        } 
}

然后編譯執(zhí)行 javac TT.java文件

在回到我們掛靠的Arthas 上面執(zhí)行 redefine /usr/local/mxn/fuccGc/t/TT.class文件

[arthas@398842]$ redefine /usr/local/mxn/fuccGc/t/TT.class redefine success, size: 1, classes: TT

執(zhí)行成功大家可以看到我們在沒有重新啟動(dòng)的情況下成功替換了class文件圖片

watch

watch：方法執(zhí)行的數(shù)據(jù)觀測，可以通過watch指令，來監(jiān)控某個(gè)類，監(jiān)控后，運(yùn)行下你的功能，復(fù)現(xiàn)下場景，arthas會(huì)提供給你具體的出參和入?yún)ⅲ瑤椭闩挪楣收?/p>

trace

輸出方法調(diào)用路徑，并輸出耗時(shí)，這個(gè)指令對于優(yōu)化代碼非常的有用，可以看出具體每個(gè)方法執(zhí)行的時(shí)間，如果是for循環(huán)等重復(fù)語句，還能看出n次循環(huán)中的最大耗時(shí)，最小耗時(shí)，和平均耗時(shí)，完美!

在我們對某個(gè)方法開啟tt后，會(huì)記錄每一次調(diào)用(我們可以設(shè)置最大監(jiān)控次數(shù))的入?yún)⒑头祷貐?shù)，并能對這些不同時(shí)間下調(diào)進(jìn)行觀測

[arthas@405136]$ tt -t FullGCTest modelFit

命令參數(shù)解析-t tt 命令有很多個(gè)主參數(shù)，-t 就是其中之一。這個(gè)參數(shù)的表明希望記錄下類 *Test 的 print 方法的每次執(zhí)行情況。-n 3 當(dāng)你執(zhí)行一個(gè)調(diào)用量不高的方法時(shí)可能你還能有足夠的時(shí)間用 CTRL+C 中斷 tt 命令記錄的過程，但如果遇到調(diào)用量非常大的方法，瞬間就能將你的 JVM 內(nèi)存撐爆。

此時(shí)你可以通過 -n 參數(shù)指定你需要記錄的次數(shù)，當(dāng)達(dá)到記錄次數(shù)時(shí) Arthas 會(huì)主動(dòng)中斷tt命令的記錄過程，避免人工操作無法停止的情況。