您现在的位置 >> Hadoop教程 >> Hadoop实战 >> 专题  
 

Hadoop 源代码 eclipse 编译教程

【作者:Hadoop实战专家】【关键词:编译 设置 下载 需要 】 【点击:6185次】【2014-03-0】
Hadoop 各成员源代码下载地址:http://svn.apache.org/repos/asf/hadoop,请使用SVN下载,在SVN浏览器中将trunk目录下的源代码check-out 出来即可。common 的编译成功结束后,可以在build 目录下找到编译后生成的文件hadoop-core-0.21.0-dev.jar。  

相关热门搜索:hadoop编译 编译hadoop

大数据标签:hadoop hdfs mapreduce hbase hive bigdata

一些新手不知道该怎么编译hadoop源代码,下面给大家介绍一下:
1. 下载Hadoop源代码
Hadoop 各成员源代码下载地址:http://svn.apache.org/repos/asf/hadoop,请使用SVN下载,在SVN浏览器中将trunk目录下的源代码check-out 出来即可。

图片1.jpg (82.64 KB, 下载次数: 0)

  

2013-12-2 16:14 上传

请注意只check-out出SVN 上的trunk 目录下的内容,如:
http://svn.apache.org/repos/asf/hadoop/common/trunk,
而不是http://svn.apache.org/repos/asf/hadoop/common,
原因是http://svn.apache.org/repos/asf/hadoop/common 目录下包括了很多非源代码文件,很庞大,导致需要很长的check-out 时间。

建议组织成如下图所示的目录结构,以保持本地的目录结构和 SVN 上的目录结构一致:

图片2.jpg (67.21 KB, 下载次数: 0)

  

2013-12-2 16:15 上传

2. 准备编译环境

2.1. Hadoop代码版本
本教程所采用的Hadoop 是北京时间2009-8-26 日上午下载的源代码,和hadoop-0.19.x版本的差异可能较大。
2.2. 联网
编译Hadoop 会依赖很多第三方库,但编译工具Ant 会自动从网上下载缺少的库,所以必须保证机器能够访问Internet。
2.3. java
编译Hadoop 要用JDK1.6 以上,网址:http://java.sun.com/javase/downloads/index.jsp。
安装好之后,请设置好JAVA_HOME 环境变量。
2.4. Ant和Cygwin
需要使用Ant 工具来编译Hadoop,而Ant 需要使用到Cygwin 提供的一些工具,如sed等,可以从:http://ant.apache.org/ivy/download.cgi 下载Ant,从http://www.cygwin.cn/下载Cygwin(Cygwin 的安装,请参考《在Windows 上安装Hadoop 教程》一文)。安装好之后,需要将Ant 和Cygwin 的bin 目录加入到环境变量PATH 中,如下图所示:

图片3.jpg (48.6 KB, 下载次数: 0)

  

2013-12-2 16:19 上传

注意:在安装Cygwin 时,建议将SVN 安装上,因为在Ant 编译过程中会通过SVN 下载
些文件,但这个不是必须的,下载不成功时,并未见出错,编译仍然可以成功。
2.5. Eclipse
Eclipse 则可以从http://www.eclipse.org/downloads/上下载。

3. 编译Hadoop
在这里,我们以编译Hadoop 家庭成员common 为例,对Hadoop 其它成员的编译方法是类似的。
3.1. 编译common成员
步骤1) 在Elipse 的Package 视图中单击右键,选择New->Java Project,如下图所示:

o_hadoop-003-02.jpg (23.11 KB, 下载次数: 0)

  

2013-12-2 16:16 上传

步骤2) 选择源代码目录,设置Project 名。

图片4.jpg (66.31 KB, 下载次数: 0)

  

2013-12-2 16:23 上传

在上图所示的对话框中,点击Browse 按钮,选择common 源代码目录,并设置Projectname 为common。工程导入完成后,进入Eclipse 主界面,可以看到common 已经导入进来,但可以看到common 上有红叉叉,是因为Elipse 默认使用了Java Builder,而不是Ant Builder,所以下一步就是设置使用Ant Builder。
步骤3) 设置Builder 为Ant:右键common->Properties->Builders:

在上图所示的界面中,点击New 按钮,在弹出的对话框中选中Ant Builder,确定之后会弹出如下对话框:

点击Browse File System 按钮,选择common 源代码目录下的build.xml 文件,并设置Name 为common_Builder(Name 可以改成其它的,但建议使用common_Builder,因为这样名副其实),操作结果如下图所示:

除上图所示的设置外,还需要设置如下图所示的Targets,建议设置成Manual Build 编译方式,而不是Auto Build 编译方式。因为在Auto Build 模式下,任何修改都会触发编译,而Manual Build 模式下,只在需要的时候,点击编译按钮或菜单编译即可。

Hadoop 各成员都需要编译成jar,所以做如下图所示的一个修改:

确定之后,返回如下图所示的Edit Configuration 对话框:

上面完成后,回到Builder 的主对话框,再将对话框中的Java Builder 下移,并将它前面的勾去掉。
进入Eclipse 主界面,由于之前选择了Manual Build,所以需要人工方式驱动编译,编译成功后,可以看到BUILD SUCCESSFUL 字样。

  请注意:如果上图所示的菜单中的Build Automatically 被勾中,则在common 的右键菜单中可能不会出现Build 子菜单。
在编译过程中,Ant 会自动从网上下载所依赖的库。common 的编译成功结束后,可以在build 目录下找到编译后生成的文件hadoop-core-0.21.0-dev.jar。

3.2. 编译Hadoop其它成员
  hdfs、mapreduce 和hive 的编译方式同common。

4. FAQ

4.1. 联网
  确保可以上internet,Ant 需要自动下载很多第三方依赖库,如果不能联网,编译会复杂很多。
4.2. 编译hive
  hive 的编译相对复杂些,而且默认它会编译多个版本的hive,建立修改shims 目录下的ivy.xml 文件,去掉不必要版本的编译。
4.3. 编译生成文件位置
  common 编译后生成build\hadoop-core-0.21.0-dev.jar;
  hdfs 编译后生成build\hadoop-hdfs-0.21.0-dev.jar;
  mapreduce 编译后生成build\hadoop-mapred-0.21.0-dev.jar;
  hive 编译后生成build\service\hive_service.jar,请注意并没有直接放在build 目录下;
  hbase 编译后生成build\hbase-0.21.0-dev.jar;
  有时候在编译某个时出错,可先跳过,编译其它的,Refresh 之后再编译。

大数据系列相关文章:

最新评论
夜晚的星星2014-09-10 09:32:11
IT互联网经理人2014-09-09 05:17:36
商场那个是我自己网上找的
辉太郎2014-09-09 03:05:15
没蛋的羡慕蛋疼的 蛋疼的羡慕不疼的
兴心向蓉2014-09-08 10:02:45
又是矩阵,听到这个词现在我很头大
等你一分钟2014-09-08 04:31:16
早上好!
 
  • Hadoop生态系统资料推荐