http://blog.sina.com.cn/s/blog_5ccc692d0101pikf.html
学习hadoop2.2.0,远程调试hadoop源码
note: 只在linux上面调试,windows下面会有脚本执行的问题,可能需要安装cygwin可以解决.
1 把编译好的hadoop源代码导入eclipse
2 如果要调试hdfs,修改~/hadoop-2.2.0/bin/hdfs
elif [ "$COMMAND" = "dfs" ] ; then
CLASS=org.apache.hadoop.fs.FsShell
HADOOP_OPTS="$HADOOP_OPTS -Xdebug -Xrunjdwp:transport=dt_socket,address=6666,server=y,suspend=y"
HADOOP_OPTS="$HADOOP_OPTS $HADOOP_CLIENT_OPTS"
监听设置在这个位置,suspend=y,就是说操作dfs命令时候会挂起在6666端口,进程会暂停,直到有客户端来连接这个端口,比如eclipse远程调试。
3 eclipse打开远程调试
4 要调试其他功能,根据脚本来设置监听即可
5 如果调试自己写的mapreduce(伪分布式,mapreduce采用local方式,保证使用单个jvm情况下,否则会有静听端口冲突),修改~/hadoop-2.2.0/bin/hadoop
#exec "$JAVA" $JAVA_HEAP_MAX $HADOOP_OPTS $CLASS "$@"
exec "$JAVA" -Xdebug -Xrunjdwp:transport=dt_socket,address=54321,server=y,suspend=n $HADOOP_OPTS -classpath "$CLASSPATH" $CLASS "$@"
修改~/hadoop-2.2.0/etc/hadoop/mapred-site.xml为local模式
执行hadoop jar ***.jar classname param...
即可进入远程debug模式。
相关推荐
Hadoop 2.2.0 配置文件 在4台CentOs 6.4版本下运行成功
自己配了一遍hadoop2.2.0,写给新手,绝对详细,后面还有一个配好了的测试文档,在我的资源里找
hadoop2.2.0源码,需要自行编译
Hadoop 2.2.0版本中在64为linux系统上运行所需要的native库文件。需要时用此native文件夹覆盖Hadoop 2.2.0中native文件夹即可。
Hadoop2.2.0安装配置手册,新手安装和配置
hadoop2.2.0/2.6.0/2.7.0/2.7.1 64位安装包。
Hadoop官网上下载的hadoop-2.2.0安装包是32位的,直接运行在64位的linux系统上会有问题,所以需要自己将hadoop-2.2.0安装包编译为64位。
资源名称:CentOS 6.5 x64下安装19实体节点Hadoop 2.2.0集群配置指南内容简介: CentOS 6.5 x64下安装19实体节点Hadoop 2.2.0集群配置指南主要讲述的是CentOS 6.5 x64下安装19实体节点Hadoop 2.2.0集群配置指南;...
64位的hadoop安装包和源码包
此hadoop是hadoop-2.2.0是32位的编译出来的,亲测可用
hadoop2.2.0 eclipse插件-重新编译过。hadoop用的是hadoop2.2.0版本,eclipse用的是 eclipse-kepler。 插件 eclipse-kepler
在CentSO_64bit集群搭建,hadoop2.2(64位)编译 新版亮点: 基于yarn计算框架和高可用性DFS的第一个稳定版本。 注1:官网只提供32位release版本, 若机器为64位,需要手动编译。 环境配置是个挺烦人的活,麻烦不说还...
Hadoop2.2.0完全分布式集群平台安装设置 HDFS HA架构: 1、先设定电脑的IP为静态地址: 2、设置各个主机的hostname 3、在所有电脑的/etc/hosts添加以下配置: 4、设置SSH无密码登陆 5、下载解压hadoop-2.2.0.tar.gz...
Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程 按照文档中的操作步骤,一步步操作就可以完全实现hadoop2.2.0版本的完全分布式集群搭建过程
hadoop2.2.0安装指南
Hadoop 2.2.0 分布式安装指导
用于windows下eclipse连接hadoop2.2.0的插件以及eclipse版本,亲测可用
Hadoop2.2.0 CHM 英文 API 如果打不开,右键解除锁定即可查阅
hadoop2.2.0集群搭建