Java Thread Dump 日志分析_javadump日志分析_唐城的博客

相关文章推荐

绅士的斑马 · 【QT】子类化QThread实现多线程 - ...· 昨天 ·

冲动的啄木鸟 · 新一代企业服务总线方案与案例 - 腾讯轻联· 2 月前 ·

冷静的黄花菜 · Android Studio ...· 6 月前 ·

俊逸的青蛙 · 常见插值算法--拉格朗日插值、三次卷积插值、 ...· 7 月前 ·

慷慨大方的脸盆 · Linux scp命令 | 菜鸟教程· 1 年前 ·

jstack Dump 日志文件中的线程状态

dump 文件里，值得关注的线程状态有：

死锁， Deadlock（重点关注）
执行中，Runnable
等待资源， Waiting on condition（重点关注）
等待获取监视器， Waiting on monitor entry（重点关注）
暂停，Suspended
对象等待中，Object.wait() 或 TIMED_WAITING
阻塞， Blocked（重点关注）
停止，Parked

1）线程状态是 Blocked ，阻塞状态。说明线程等待资源超时！

2）“ waiting to lock <0x00000000acf4d0c0>”指，线程在等待给这个 0x00000000acf4d0c0 地址上锁（英文可描述为：trying to obtain 0x00000000acf4d0c0 lock）。

3）在 dump 日志里查找字符串 0x00000000acf4d0c0，发现有大量线程都在等待给这个地址上锁。如果能在日志里找到谁获得了这个锁（如locked < 0x00000000acf4d0c0 >），就可以顺藤摸瓜了。

4）“ waiting for monitor entry ”说明此线程通过 synchronized(obj) {……} 申请进入了临界区，从而进入了下图1中的“Entry Set”队列，但该 obj 对应的 monitor 被其他线程拥有，所以本线程在 Entry Set 队列中等待。

5）第一行里，"RMI TCP Connection(267865)-172.16.5.25"是 Thread Name 。tid指Java Thread id。nid指native线程的id。prio是线程优先级。[0x00007fd4f8684000]是线程栈起始地址。

Dump文件中的线程状态含义及注意事项

含义如下所示：

Deadlock ：死锁线程，一般指多个线程调用间，进入相互资源占用，导致一直等待无法释放的情况。
Runnable ：一般指该线程正在执行状态中，该线程占用了资源，正在处理某个请求，有可能正在传递SQL到数据库执行，有可能在对某个文件操作，有可能进行数据类型等转换。
Waiting on condition：等待资源，或等待某个条件的发生。具体原因需结合 stacktrace来分析。
- 如果堆栈信息明确是应用代码，则证明该线程正在等待资源。一般是大量读取某资源，且该资源采用了资源锁的情况下，线程进入等待状态，等待资源的读取。
- 又或者，正在等待其他线程的执行等。
- 如果发现有大量的线程都在处在 Wait on condition，从线程 stack看，正等待网络读写，这可能是一个网络瓶颈的征兆。因为网络阻塞导致线程无法执行。
  - 一种情况是网络非常忙，几乎消耗了所有的带宽，仍然有大量数据等待网络读写；
  - 另一种情况也可能是网络空闲，但由于路由等问题，导致包无法正常的到达。
- 另外一种出现 Wait on condition的常见情况是该线程在 sleep，等待 sleep的时间到了时候，将被唤醒。
Blocked：线程阻塞，是指当前线程执行过程中，所需要的资源长时间等待却一直未能获取到，被容器的线程管理器标识为阻塞状态，可以理解为等待资源超时的线程。
Waiting for monitor entry 和 in Object.wait()：Monitor是 Java中用以实现线程之间的互斥与协作的主要手段，它可以看成是对象或者 Class的锁。每一个对象都有，也仅有一个 monitor。从下图1中可以看出，每个 Monitor在某个时刻，只能被一个线程拥有，该线程就是 “Active Thread”，而其它线程都是 “Waiting Thread”，分别在两个队列 “ Entry Set”和 “Wait Set”里面等候。在 “Entry Set”中等待的线程状态是 “Waiting for monitor entry”，而在 “Wait Set”中等待的线程状态是 “in Object.wait()”。

综合示范二： W aiting on condition 和 TIMED_WAITING

实例如下：

"RMI TCP Connection(idle)" daemon prio=10 tid=0x00007fd50834e800 nid=0x56b2 waiting on condition [0x00007fd4f1a59000]

java.lang.Thread.State: TIMED_WAITING (parking)

at sun.misc.Unsafe.park(Native Method)

- parking to wait for <0x00000000acd84de8> (a java.util.concurrent.SynchronousQueue$TransferStack)

at java.util.concurrent.locks.LockSupport.parkNanos(LockSupport.java:198)

at java.util.concurrent.SynchronousQueue$TransferStack.awaitFulfill(SynchronousQueue.java:424)

at java.util.concurrent.SynchronousQueue$TransferStack.transfer(SynchronousQueue.java:323)

at java.util.concurrent.SynchronousQueue.poll(SynchronousQueue.java:874)

at java.util.concurrent.ThreadPoolExecutor.getTask(ThreadPoolExecutor.java:945)

at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:907)

at java.lang.Thread.run(Thread.java:662)

1）“ TIMED_WAITING (parking) ”中的 timed_waiting 指等待状态，但这里指定了时间，到达指定的时间后自动退出等待状态；parking指线程处于挂起中。

2）“ waiting on condition ”需要与堆栈中的“ parking to wait for <0x00000000acd84de8> (a java.util.concurrent.SynchronousQueue$TransferStack)”结合来看。首先，本线程肯定是在等待某个条件的发生，来把自己唤醒。其次，SynchronousQueue 并不是一个队列，只是线程之间移交信息的机制，当我们把一个元素放入到 SynchronousQueue 中时必须有另一个线程正在等待接受移交的任务，因此这就是本线程在等待的条件。

3）别的就看不出来了。

综合示范三：in Obejct.wait() 和 TIMED_WAITING

实例如下：

"RMI RenewClean-[172.16.5.19:28475]" daemon prio=10 tid=0x0000000041428800 nid=0xb09 in Object.wait() [0x00007f34f4bd0000]

java.lang.Thread.State: TIMED_WAITING (on object monitor)

at java.lang.Object.wait(Native Method)

- waiting on <0x00000000aa672478> (a java.lang.ref.ReferenceQueue$Lock)

at java.lang.ref.ReferenceQueue.remove(ReferenceQueue.java:118)

- locked <0x00000000aa672478> (a java.lang.ref.ReferenceQueue$Lock)

at sun.rmi.transport.DGCClient$EndpointEntry$RenewCleanThread.run(DGCClient.java:516)

at java.lang.Thread.run(Thread.java:662)

1）“ TIMED_WAITING (on object monitor) ”，对于本例而言，是因为本线程调用了 java.lang.Object.wait(long timeout) 而进入等待状态。

2）“Wait Set”中等待的线程状态就是“ in Object.wait() ”。当线程获得了 Monitor，进入了临界区之后，如果发现线程继续运行的条件没有满足，它则调用对象（一般就是被 synchronized 的对象）的 wait() 方法，放弃了 Monitor，进入 “Wait Set”队列。只有当别的线程在该对象上调用了 notify() 或者 notifyAll() ，“ Wait Set”队列中线程才得到机会去竞争，但是只有一个线程获得对象的 Monitor，恢复到运行态。

3）RMI RenewClean 是 DGCClient 的一部分。 DGC 指的是 Distributed GC，即分布式垃圾回收。

4）请注意，是先 locked <0x00000000aa672478> ，后 waiting on <0x00000000aa672478> ，之所以先锁再等同一个对象，请看下面它的代码实现：

static private class  Lock { };
private Lock lock = new Lock();
public Reference<? extends T> remove(long timeout)
    synchronized (lock) {
        Reference<? extends T> r = reallyPoll();
        if (r != null) return r;
        for (;;) {
            lock.wait(timeout);
            r = reallyPoll();
即，线程的执行中，先用 synchronized 获得了这个对象的 Monitor（对应于  locked <0x00000000aa672478> ）；当执行到 lock.wait(timeout);，线程就放弃了 Monitor 的所有权，进入“Wait Set”队列（对应于  waiting on <0x00000000aa672478> ）。 
5）从堆栈信息看，是正在清理 remote references to remote objects ，引用的租约到了，分布式垃圾回收在逐一清理呢。 
参考资源： 
1）CUBRID，2012，How to Analyze Java Thread Dumps； 
2）iteye，2012，虚拟机stack全分析； 
3）iteye，2008，如何分析Java虚拟机死锁； 
4）csdn，2012，java stack dump中JVM运行过程中产生的一些常见线程介绍和解释； 
5）2009，Java线程dump的分析； 
6）jiacheo，2012，tomcat thread dump 分析； 
spymemcached 相关文章： 
1）spymemcached 的 useNagle 问题与 TCP/IP延迟发送数据 
2）spymemcached ：某个mc节点操作连续超时超过998次就 Auto-Reconnect 的特性 
3）关于 Multiget hole：spymemcached对此的实现方法 
1）55最佳实践系列：MongoDB最佳实践 (2012-12-15 15:48)
 2）55最佳实践系列：Logging最佳实践 (2012-12-15 16:43) 
3）最佳实践系列：前端代码标准和最佳实践 (2012-12-19 23:33)
                    jstack Dump 日志文件中的线程状态dump 文件里，值得关注的线程状态有：死锁，Deadlock（重点关注）	执行中，Runnable 	等待资源，Waiting on condition（重点关注）	等待获取监视器，Waiting on monitor entry（重点关注）	暂停，Suspended	对象等待中，Object.wait() 或 TIMED_W...
CPU占用率不高，但响应很慢
线程出现死锁的情况有的时候我们会发现CPU占用率不高，系统日志也看不出问题，那么这种情况下，我们需要去看一下运
行中的线程有没有异常通过jps 命令，查看java进程的pid
2、jstack命令
通过`jstack 查看线程日志
如果存在死锁情况，Thread Dump日志里面肯定会给出Found one Java-level deadlock:信息。只要找到这个信息就可以立马定位到问题并且去解决。
CPU占用率很高，但响应很慢
有的时候我们会发现
SynchronousQueue是一个比较特殊的阻塞队列实现类，它实际上内部并不会给元素维护一系列存储空间，它维护了一组线程，这些线程正需要获取元素或者添加元素。在生产-消费者模型中，这样做的好处是可以降低从生产者到消费者中间的延迟，而在LinkedBlockingQueue或者ArrayBlockingQueue中，生产者必须将元素插入到其中存储元素的结构中然后才能转交给消费者。
此外...
2.排查文件
- waiting to lock <0x00000004101255e8> (a ch.qos.logback.core.util.CachingDateFormatter)
3.分析得知
logback多线程打印日志会有死锁的问题
4.解决方式
重新配置logback.x...
				<h3>回答1：</h3><br/>Java VisualVM是一种用于分析Java应用程序的工具，可以使用它来分析dump文件。以下是使用Java VisualVM分析dump文件的步骤：
1. 打开Java VisualVM并选择“File”菜单中的“Load”选项。
2. 选择要分析的dump文件并加载它。
3. 在左侧的“Applications”窗口中选择要分析的Java应用程序。
4. 在右侧的“Monitor”窗口中选择要分析的线程或进程，并查看其性能指标和堆栈跟踪信息。
5. 使用Java VisualVM提供的其他工具和插件来进一步分析和优化Java应用程序的性能。
总之，Java VisualVM是一种非常有用的工具，可以帮助开发人员诊断和解决Java应用程序的性能问题。   
<h3>回答2：</h3><br/>Java VisualVM是一个Java虚拟机监视和分析工具。它提供了实时的应用程序性能监控，以及基于某些特定平台的内存和线程分析。使用Java VisualVM可以分析非常详细的诊断信息，它可以非常轻松地获取一个Java应用程序运行时的进程快照，即dump文件。在获取到dump文件后，我们可以通过Java VisualVM对dump文件进行分析，以更深入地了解应用程序的性能状况，从而提高程序的性能。下面我们来具体说明如何使用Java VisualVM分析dump文件。
在使用Java VisualVM分析dump文件之前，首先需要下载和安装Java VisualVM。Java VisualVM提供了以下两种方式来分析dump文件：
1.打开本地应用程序
打开Java VisualVM后，从菜单栏中点击File -> Load 即可打开本地应用程序，并可以在Applications选项卡中查看正在运行的Java进程。选取需要分析的进程，然后点击Snapshot按钮，即可生成dump文件。
2.分析远程应用程序
Java VisualVM还提供了通过JMX连接到远程应用程序获取dump文件的方式。选择File -> Add JMX Connection选项，并输入连接的IP地址和端口号。成功连接后，点击Applications选项卡，选择远程应用程序，然后点击Snapshot按钮即可生成dump文件。
在得到dump文件之后，我们可以通过Java VisualVM来进行性能分析。首先我们需要打开dump文件，选择File -> Load Snapshot，选择目标dump文件。在界面的左侧，我们可以看到以下五个选项卡：
1. Overview 用于查看堆内存和线程状况的概览。
2. Monitor 用于实时监控Java应用程序的性能和资源使用情况，如CPU、内存、线程等。
3. Heap Dump 用于查看内存快照中的详细信息，帮助找出内存泄漏和对象占用情况。
4. Threads 用于查看各个线程的状态和历史记录，并对线程进行诊断和采样。
5. Samples 用于对应用程序的性能瓶颈进行采样和分析，查找性能瓶颈和优化应用程序。
通过以上选项卡，我们可以对应用程序进行更加深入的性能分析，找出应用程序的性能瓶颈，帮助我们更好地优化应用程序的性能。   
<h3>回答3：</h3><br/>Java VisualVM 是 Java 官方提供的一个性能分析工具，它可以通过连接远程或本地的 JVM 进程，收集各种性能相关的数据，包括堆内存、CPU、线程、GC 等。同时，Java VisualVM 还能够生成 Heap Dump 文件，用于分析内存泄露等问题。本文主要介绍如何使用 Java VisualVM 分析 Heap Dump 文件。
一、导出 Heap Dump 文件
在 Java VisualVM 中，我们可以在“Applications” 中找到正在运行的 Java 应用程序，右键点击应用程序进程并选择“Heap Dump”即可生成 Heap Dump 文件，存放在本地文件系统中。该文件包含了 JVM 进程的整个内存快照，用于分析内存泄露、对象引用等问题。
二、分析 Heap Dump 文件
1. 打开 Heap Dump 文件
将 Heap Dump 文件导入到 Java VisualVM 中，可以通过“File”-”Load”-”Heap Dump”来打开。
2. 了解 Heap Dump 概要信息
通过查看 Heap Dump 的概要信息，可以了解到该应用程序的总内存使用量、对象个数、堆内存各区域的使用情况等。
3. 查看对象实例
在“Classes”标签页中，我们可以查看 Heap Dump 文件中所有的类，其中包含每个对象的实例数、占用内存大小等信息。可以通过该信息找到占用内存较大的对象，进一步分析其使用情况。
4. 分析对象引用
通过“References”标签页，我们可以查看各个对象之间的引用关系。可以通过该信息找到内存泄露的对象引用，找到引用该对象的对象，或使用MAT等工具分析该对象的引用链路，定位到引用根源。
5. 分析堆内存分布
通过“Heap Dump”标签页，我们可以查看堆内存分布情况。可以查看到堆内存各区域的内存大小及使用情况，从而了解内存的占用情况。
本文介绍了如何使用 Java VisualVM 分析 Heap Dump 文件，通过了解对象实例、对象引用、堆内存分布等信息，找到内存泄露的对象，并定位到引用根源，进一步优化应用程序，提高其性能。