这周一我负责维护的一个系统突然出现故障，用户反映系统很慢，浏览器加载半天最后进了错误页面。登录到系统查看，发现系统负载很高，用sar命令进一步明确了是java进程在某一时刻后突然占据了大量CPU资源。查看应用日志，发现了OutOfMemory异常，然后使用jstat的gcutil确认JVM heap工作不正常，已经有上千次的full gc了。
用VisualGC或者jmap工具生成Headp dump文件，然后用MAT打开，生成内存泄露的分析报告，查找占用内存最大的对象并通过Thread call stack就可以定位导致问题出现的类和方法。
由于系统属旧系统，代码一直没有改动，显然是数据出了问题。最终发现是用户输入的格式不规范的数据，使得对数据做查找替换的一段代码不断地扩大1个字符串对象，导致内存消耗不断增长，gc频繁。
# sar
# sar -P ALL 1 5
# jstat -gcutil
# jmap -dump:format=b,file=HeapDump.hprof
Cacti官方论坛里有几个监控JVM的模板：
导入到Cacti后，需要启用JVM的SNMP Agent，方法如下：
1. 启动JVM的参数里加入-Dcom.sun.management.snmp.port=9998 这个是指定SNMP Agent的监听端口。
2. 设置访问权限
$ sudo cp $JRE_HOME/lib/management/snmp.acl.template $JRE_HOME/lib/management/snmp.acl
$ sudo vi $JRE_HOME/lib/management/snmp.acl
acl = {
{
communities = public, private
access = read-only
managers = localhost
}
}
trap = {
{
trap-community = public
hosts = localhost
}
}
3. 设置配置文件的权限，必须只能为启用JVM的用户只读，否则不能工作。(management.properties不用修改，使用默认配置即可)
$ sudo chmod 600 management.properties snmp.acl
$ sudo chown jetty management.properties snmp.acl
4. 重启JVM，用netstat命令检查9998端口是否已被监听或用snmpwalk命令检查。
$ sudo netstat -tlunp |grep 9998
$ snmpwalk -v 2c -c public localhost:9998 .1.3.6.1.4.1.42
5. 为了让远程的Cacti主机可以访问，可使用snmpd的proxy功能将请求转发到localhost的JVM SNMP Agent上。修改snmpd的配置文件，添加
proxy -v 2c -c public localhost:9998 .1.3.6.1.4.1.42
然后重启snmpd服务。在Cacti主机上以snmpwalk命令检查，应该能得到与上一步中snmpwalk命令一样的输出。snmpwalk -v 2c -c public remotehost .1.3.6.1.4.1.42
6. 至此，可以在Cacti里为JVM主机添加监控图表了，注意Device的SNMP Options配置里SNMP Version要选择Version 2。
参考：