Spark的Straggler深入学习（1）：如何在本地图形监控远程Spark的GC情况——使用java自带的jvisualvm
浏览数：598 /
时间：2015年06月08日
一、
本文的目的
本文的目的 Straggler是目前研究的热点，Spark中也存在Straggler的问题。GC问题是总所周知的导致Straggler的重要因素之一，为了了解GC导致的Straggler问题，首先需要学习GC问题以及如何监控Spark的GC。GC问题的讨论比较多了，推荐一篇系列文章用于学习：成为Java的GC专家。
二、本文所需工具
本文所需工具很简单，基本不用下载。监控GC的前提是：
1、已经在集群上安装了Spark并可以正常提交作业；
2、本地装有jdk1.6以上版本。
本文实际使用的工具是：java自带的jvisualvm。
三、配置jvisualvm
1、远程集群：需要简单配置并启动jstatd。方法比较简单，共两步：
i. 在JAVA_HOME的bin目录下新建一个jstatd.all.policy的文件，文件内容为：
grant codebase "file:${java.home}/../lib/tools.jar" {
permission java.security.AllPermission;
};
ii. 执行：jstatd -J-Djava.security.policy=jstatd.all.policy -J-Djava.rmi.server.hostname=yourip。
将命令中的yourip替换成Spark的master所在的node的地址，该地址也是jvisualvm需要连接的地址。确保不会报RMI和Connect的错误。
2、本地主机：无需配置，启动jvisualvm即可。
在jvisualvm中新建远程主机，IP地址为之前填写的地址，使用jstatd连接，默认端口1099。然后就可以看到远程运行的jvm虚拟机了。
四、监控
1、在jvisualvm的“工具”选项中的插件一栏下载Visual GC插件，然后就可以看到虚拟机的监控页面多出一栏GC监控。
2、在集群上通过Spark submit提交一个应用，本地就可以监控到了，双击查看其信息。
3、监控到的截图如下：
郑重声明：本站内容如果来自互联网及其他传播媒体，其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享，并不代表本站赞同其观点和对其真实性负责，也不构成任何其他建议。
