欢迎来到 黑吧安全网 聚焦网络安全前沿资讯,精华内容,交流技术心得!

Centos6.5源码编译安装Hadoop2.5.1

来源:本站整理 作者:佚名 时间:2014-09-25 TAG:Centos Hadoop 我要投稿

一、编译环境

[plain] view plaincopy在CODE上查看代码片派生到我的代码片
 
  1. Centos6.5(64bit)      
  2. jdk7      
  3. ant1.9.4  
  4. maven3.1.1  
  5. findbugs3.0.0  
  6. protobuf2.5.0  
  7. hadoop2.5.1 源代码文件  

二、安装以上所需的所有软件

1.yum可安装的软件

[html] view plaincopy
 
  1. yum install svn ncurses-devel gcc* lzo-devel zlib-devel autoconf automake libtool cmake openssl-devel  

2.安装JDK

[html] view plaincopy
 
  1. rpm -ivh jdk-8-linux-x64.rpm  
  2.   
  3. vim  /etc/profile  
  4. export JAVA_HOME=/usr/java/jdk1.7.0  
  5. export JRE_HOME=/usr/java/jdk1.7.0/jre  
  6. export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH  
  7. export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar  

3.安装ant

[html] view plaincopy
 
  1. tar zxvf apache-ant-1.9.4-bin.tar.gz  
  2.   
  3. vim /etc/profile  
  4. export ANT_HOME=/usr/local/apache-ant-1.9.4  
  5. export PATH=$PATH:$ANT_HOME/bin  

4.安装findbugs

[html] view plaincopy
 
  1. tar zxvf findbugs-3.0.0.tar.gz  
  2.   
  3. vim /etc/profile  
  4. export FINDBUGS_HOME=/usr/local/findbugs-3.0.0  
  5. export PATH=$PATH:$FINDBUGS_HOME/bin  

5.安装protobuf

 

[html] view plaincopy
 
  1. tar zxvf protobuf-2.5.0.tar.gz  
  2. cd protobuf-2.5.0  
  3. ./configure --prefix=/usr/local  
  4. make && make install  

 

6.安装maven

[html] view plaincopy
 
  1. tar -zxvf apache-maven-3.1.1-bin.tar.gz  
  2.   
  3. vim /etc/peofile  
  4. export M2_HOME=/usr/local/apache-maven-3.1.1  
  5. export PATH=$PATH:$JAVA_HOME/bin:$M2_HOME/bin  

三、编译hadoop源码

 

[html] view plaincopy
 
  1. tar zxvf hadoop-2.5.1-src.tar.gz  
  2. cd hadoop-2.5.1-src  
  3. mvn package -Pdist,native,docs -DskipTests -Dtar  

 

 

最后的文件就在hadoop-2.5.1-src/hadoop-dist/target中



至此,自己编译的hadoop2.5.1已经完成,经测试不会再在运行的时候出现warning了,确实让人开心!

另外:如果在编译的时候出现问题,不妨考虑一下jdk的版本以及各个软件的版本的问题,我最初用的是jdk8,一直报错,最后尝试了一下jdk7才算成功。

按照如上步骤基本可以保证能够正确编译,编译过程中参考了网上不少的文章,由于自己有记笔记的习惯,每次操作过后都记录在笔记中,因此未记录参考过那些文章,请见谅。

【声明】:黑吧安全网(http://www.myhack58.com)登载此文出于传递更多信息之目的,并不代表本站赞同其观点和对其真实性负责,仅适于网络安全技术爱好者学习研究使用,学习中请遵循国家相关法律法规。如有问题请联系我们,联系邮箱admin@myhack58.com,我们会在最短的时间内进行处理。
  • 最新更新
    • 相关阅读
      • 本类热门
        • 最近下载