Hadoop入门之Hadoop-2.5.0源码编译

2024-08-29 12:08
文章标签 编译 源码 入门 2.5 hadoop

本文主要是介绍Hadoop入门之Hadoop-2.5.0源码编译,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一、 为什么要编译Hadoop源码

Hadoop是使用Java语言开发的,但是有一些需求和操作并不适合使用java,所以就引入了本地库(Native Libraries)的概念,通过本地库,Hadoop可以更加高效地执行某一些操作。

native目录是本地库,位于hadoop-2.x.x/lib/native目录下,仅支持Linuxunix操作系统。

hadoop中的zlibgzip模块会加载本地库,如果加载失败,会提示:

16/07/06 12:18:24 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-Javaclasses where applicable


可以在core-site.xml中配置hadoop.native.lib值是否使用本地库,默认值为true

官方提供的hadoop-2.x版本中,native文件都是32位编译的,在实际使用64位环境中,为了能让Hadoop更高效地运行,最好还是在本地编译Hadoop源码,用本地编译好的本地库(native目录)替换官方安装包里自带的本地库。

二、 编译源码的环境要求

1、 必须在Linux下进行

2、 Java JDK必须为1.6以上

3、 Maven 版本必须为3.0以上

4、 安装Findbugs插件版本1.3.9

5、 安装CMake编译工具,版本2.6

6、 安装zlib devel

7、 安装openssl devel

8、 编译时必须可以连接互联网因为需要yum下载软件

三、 用到的软件包

1、 apache-maven-3.0.5-bin.tar.gz

2、 cmd_markdown_win64.zip

3、 findbugs-1.3.9.tar.gz

4、 hadoop-2.5.0-src.tar.gz

5、 jdk-7u67-linux-x64.tar.gz

6、 native-2.5.0.tar.gz

7、 protobuf-2.5.0.tar.gz

四、 Hadoop2.x源码编译步骤

1、 解压Hadoop源码安装包

(1) [hadoop@bigdata-senior01 sofeware]$ tar -zxf hadoop-2.5.0-src.tar.gz -C /opt/modules/

(2) 查看是否已经解压成功

[hadoop@bigdata-senior01 sofeware]$ ll /opt/modules/

total 12

drwxr-xr-x. 11 hadoop hadoop 4096 Jul 4 17:48 hadoop-2.5.0

drwxr-xr-x 15 hadoop hadoop 4096 Aug 7 2014 hadoop-2.5.0-src

2、 解压JDK

(1) [hadoop@bigdata-senior01 sofeware]$ tar -zxf jdk-7u67-linux-x64.tar.gz -C /opt/modules/

(2) 查看是否已经解压成功

[hadoop@bigdata-senior01 sofeware]$ ll /opt/modules/

total 12

drwxr-xr-x. 11 hadoop hadoop 4096 Jul 4 17:48 hadoop-2.5.0

drwxr-xr-x 15 hadoop hadoop 4096 Aug 7 2014 hadoop-2.5.0-src

drwxr-xr-x. 8 hadoop hadoop 4096 Jul 26 2014 jdk1.7.0_67

3、 root用户配置Java JDK环境变量

(1) root用户进入/etc/profile文件

[root@bigdata-senior01 sofeware]$ vim /etc/profile

(2) 配置JDK_HOMEPATH

export JAVA_HOME="/opt/modules/jdk1.7.0_67"

export PATH=$JAVA_HOME/bin:$PATH

(3) 生效配置文件

[root@bigdata-senior01 sofeware]$ source /etc/profile

(4) 确认Jave配置成功

[root@bigdata-senior01 sofeware]$ java -version

java version "1.7.0_67"

Java(TM) SE Runtime Environment (build 1.7.0_67-b01)

Java HotSpot(TM) 64-Bit Server VM (build 24.65-b04, mixed mode)

4、 root用户安装Maven

(1) Apache Maven,是一个软件项目管理及自动构建工具。Maven完成项目生命周期的所有阶段,包括验证、代码生成、编译、测试、打包、集成测试、安装、部署、以及项目网站创建和部署。maven的好处在于可以将项目过程规范化、自动化、高效化以及强大的可扩展性。

对于需要的依赖,Maven可以从配置的远程仓库里按需自动下载到本地仓库

(2) 解压Maven

[hadoop@bigdata-senior01 sofeware]$ tar -zxf apache-maven-3.0.5-bin.tar.gz -C /opt/modules/

(3) 配置/etc/profile文件

export MAVEN_HOME="/opt/modules/apache-maven-3.0.5"

export PATH=$MAVEN_HOME/bin:$PATH

(4) 生效配置文件

[root@bigdata-senior01 sofeware]# source /etc/profile

(5) 确认Maven配置成功

[root@bigdata-senior01 sofeware]# mvn -version

Apache Maven 3.0.5 (r01de14724cdef164cd33c7c8c2fe155faf9602da; 2013-02-19 21:51:28+0800)

Maven home: /opt/modules/apache-maven-3.0.5

Java version: 1.7.0_67, vendor: Oracle Corporation

Java home: /opt/modules/jdk1.7.0_67/jre

Default locale: en_US, platform encoding: UTF-8

OS name: "linux", version: "2.6.32-504.el6.x86_64", arch: "amd64", family: "unix"

5、 root用户安装gcc/gcc-c++/make

[root@bigdata-senior01 sofeware]# yum -y install gcc gcc-c++

接下来yum自动安装,直到安装成功会显示Complete!

6、 普通用户下安装protobuf

(1) [hadoop@bigdata-senior01 sofeware]$ tar -zxf protobuf-2.5.0.tar.gz -C /opt/modules/

(2) [hadoop@bigdata-senior01 sofeware]$ /opt/modules/protobuf-2.5.0/configure --prefix=/usr/local/protoc

(3) [hadoop@bigdata-senior01 sofeware]$ cd /opt/modules/protobuf-2.5.0

(4) [root@bigdata-senior01 protobuf-2.5.0]# make

(5) [root@bigdata-senior01 protobuf-2.5.0]# make install

(6) 配置/etc/profile

export PROTOBUF_HOME="/usr/local/protoc"

export PATH=$PROTOBUF_HOME/bin:$PATH

(7) 生效配置文件

[root@bigdata-senior01 sofeware]# source /etc/profile

(8) 确认配置成功

[root@bigdata-senior01 protobuf-2.5.0]# protoc --version

libprotoc 2.5.0

7、 root用户下下载安装CMakeopensslncurses

(1) 安装Cmake

[root@bigdata-senior01 protobuf-2.5.0]# yum -y install cmake

(2) 安装openssl

[root@bigdata-senior01 protobuf-2.5.0]# yum install openssl-devel

(3) 安装ncurses

[root@bigdata-senior01 protobuf-2.5.0]# yum -y install ncurses-devel

8、 添加maven镜像

(1) 编辑maven配置文件settings.xml

[hadoop@spark01-61cdh apache-maven-3.3.3]$ vim /opt/modules/apache-maven-3.3.3/conf/settings.xml

(2) 添加镜像

<mirror>

<id>nexus-osc</id>

<mirrorOf>*</mirrorOf>

<name>Nexus osc</name>

<url>http://maven.oschina.NET/content/groups/public</url>

</mirror>

9、 编译Hadoop源码

(1) 切换到普通用户:[root@bigdata-senior01 protobuf-2.5.0]# su hadoop

(2) 进入hadoop源码目录:[hadoop@bigdata-senior01 protobuf-2.5.0]$ cd /opt/modules/hadoop-2.5.0-src/

(3) 执行编译,编译过程中需要从yum仓库下载依赖包,需要一段时间

[hadoop@bigdata-senior01 hadoop-2.5.0-src]$ mvn package –DskipTests –Pdist,native

(4) 执行过程中如果报错,发现是下载依赖失败,可以换个apachemaven镜像地址后能够正常下载。

https://repo.maven.apache.org/maven2



10、 编译后native目录替换之前安装的hadoop lib目录下的native目录。

(1) 将编译后的native目录覆盖本地原有的native目录

[hadoop@bigdata-senior01 hadoop-2.5.0-src]$ cp -R /opt/modules/hadoop-2.5.0-src/hadoop-dist/target/hadoop-2.5.0/lib/native/* /opt/modules/hadoop-2.5.0/lib/native/

(2) 进入${HADOOP_HOME}目录启动HDFS

[hadoop@bigdata-senior01 hadoop-2.5.0-src]$ cd ${HADOOP_HOME}

[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start namenode

[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start datanode

(3) 执行dfs命令就不会有警告了

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -ls /

这篇关于Hadoop入门之Hadoop-2.5.0源码编译的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1117821

相关文章

从入门到进阶讲解Python自动化Playwright实战指南

《从入门到进阶讲解Python自动化Playwright实战指南》Playwright是针对Python语言的纯自动化工具,它可以通过单个API自动执行Chromium,Firefox和WebKit... 目录Playwright 简介核心优势安装步骤观点与案例结合Playwright 核心功能从零开始学习

java使用protobuf-maven-plugin的插件编译proto文件详解

《java使用protobuf-maven-plugin的插件编译proto文件详解》:本文主要介绍java使用protobuf-maven-plugin的插件编译proto文件,具有很好的参考价... 目录protobuf文件作为数据传输和存储的协议主要介绍在Java使用maven编译proto文件的插件

从入门到精通MySQL联合查询

《从入门到精通MySQL联合查询》:本文主要介绍从入门到精通MySQL联合查询,本文通过实例代码给大家介绍的非常详细,需要的朋友可以参考下... 目录摘要1. 多表联合查询时mysql内部原理2. 内连接3. 外连接4. 自连接5. 子查询6. 合并查询7. 插入查询结果摘要前面我们学习了数据库设计时要满

从入门到精通C++11 <chrono> 库特性

《从入门到精通C++11<chrono>库特性》chrono库是C++11中一个非常强大和实用的库,它为时间处理提供了丰富的功能和类型安全的接口,通过本文的介绍,我们了解了chrono库的基本概念... 目录一、引言1.1 为什么需要<chrono>库1.2<chrono>库的基本概念二、时间段(Durat

Visual Studio 2022 编译C++20代码的图文步骤

《VisualStudio2022编译C++20代码的图文步骤》在VisualStudio中启用C++20import功能,需设置语言标准为ISOC++20,开启扫描源查找模块依赖及实验性标... 默认创建Visual Studio桌面控制台项目代码包含C++20的import方法。右键项目的属性:

解析C++11 static_assert及与Boost库的关联从入门到精通

《解析C++11static_assert及与Boost库的关联从入门到精通》static_assert是C++中强大的编译时验证工具,它能够在编译阶段拦截不符合预期的类型或值,增强代码的健壮性,通... 目录一、背景知识:传统断言方法的局限性1.1 assert宏1.2 #error指令1.3 第三方解决

从入门到精通MySQL 数据库索引(实战案例)

《从入门到精通MySQL数据库索引(实战案例)》索引是数据库的目录,提升查询速度,主要类型包括BTree、Hash、全文、空间索引,需根据场景选择,建议用于高频查询、关联字段、排序等,避免重复率高或... 目录一、索引是什么?能干嘛?核心作用:二、索引的 4 种主要类型(附通俗例子)1. BTree 索引(

Redis 配置文件使用建议redis.conf 从入门到实战

《Redis配置文件使用建议redis.conf从入门到实战》Redis配置方式包括配置文件、命令行参数、运行时CONFIG命令,支持动态修改参数及持久化,常用项涉及端口、绑定、内存策略等,版本8... 目录一、Redis.conf 是什么?二、命令行方式传参(适用于测试)三、运行时动态修改配置(不重启服务

MySQL DQL从入门到精通

《MySQLDQL从入门到精通》通过DQL,我们可以从数据库中检索出所需的数据,进行各种复杂的数据分析和处理,本文将深入探讨MySQLDQL的各个方面,帮助你全面掌握这一重要技能,感兴趣的朋友跟随小... 目录一、DQL 基础:SELECT 语句入门二、数据过滤:WHERE 子句的使用三、结果排序:ORDE

Python中OpenCV与Matplotlib的图像操作入门指南

《Python中OpenCV与Matplotlib的图像操作入门指南》:本文主要介绍Python中OpenCV与Matplotlib的图像操作指南,本文通过实例代码给大家介绍的非常详细,对大家的学... 目录一、环境准备二、图像的基本操作1. 图像读取、显示与保存 使用OpenCV操作2. 像素级操作3.