Centos7.2 安装Hadoop、Hbase、Elasticsearch与JanusGraph并配置Http访问

2024-08-28 20:18
文章标签 配置 访问 安装 http elasticsearch hadoop hbase centos7.2 janusgraph

本文主要是介绍Centos7.2 安装Hadoop、Hbase、Elasticsearch与JanusGraph并配置Http访问，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

JanusGraph是分布式图数据库，前身是Titan。JanusGraph是Titan的一个fork。Titan项目创建于2012年，于2016年停止维护，2017年，JanusGraph项目fork了Titan，直至今天。所以建议大家优选JanusGraph，当然Titan依然是可用的。

JanusGraph支持多种后端和索引，这里博主选择Hbase与Elasticsearch。大家在安装之前，请一定参考相关版本的兼容性。这里博主使用：

Centos7.2

jdk-8u191-linux-x64.rpm

hadoop-2.7.6

zookeeper-3.4.9

hbase-1.2.6

elasticsearch-5.6.5

janusgraph-0.3.1-hadoop2

这里JanusGraph使用hbase做后端、elasticsearch做索引，并且在单节点进行伪分布式的配置。所以首先安装jdk，安装之前请先卸载系统自动的jdk。

一、安装Java环境

1、下载 jdk-8u191-linux-x64.rpm

2、安装jdk：

rpm -ivh jdk-8u191-linux-x64.rpm

安装成功之后即可使用 java -version 查看java的信息。但是为了后续安装，还是建议配置java环境变量。

3、配置java环境变量：

vim /etc/profile

在最后面加上：

export JAVA_HOME=/usr/java/jdk1.8.0_191-amd64
export JRE_HOME=/usr/java/jdk1.8.0_191-amd64/jre
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

保存后使环境变量生效：

source /etc/profile

二、关闭禁用防火墙：

systemctl stop firewalld.service

systemctl disable firewalld.service

三、安装Hadoop：

为了避免后续安装问题，安装的Hadoop一定要根据Hbase的兼容性选择版本。

1、下载hadoop-2.7.6.tar.gz

2、解压：

tar -xzvf hadoop-2.7.6.tar.gz

3、配置环境变量，在/etc/profile之后加上：

export HADOOP_HOME=/data/janus/hadoop-2.7.6
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

4、配置hadoop-2.7.6/etc/hadoop/slaves：

将localhost改成master  （master为hostname）

5、配置hadoop-2.7.6/etc/hadoop/hadoop-env.sh：

export JAVA_HOME=/usr/java/jdk1.8.0_191-amd64

改为实际的java地址。

6、配置hadoop-2.7.6/etc/hadoop/core-site.xml：

<configuration><property> <name>fs.defaultFS</name><value>hdfs://master:9000</value> </property> <property> <name>hadoop.tmp.dir</name><value>data/janus/hadoop-2.7.6/tmp</value> </property> 	
</configuration>

data/janus/hadoop-2.7.6为hadoop的解压目录

7、配置hadoop-2.7.6/etc/hadoop/hdfs-site.xml：

<configuration><property> <name>dfs.namenode.name.dir</name> <value>data/janus/hadoop-2.7.6/dfs/name</value> </property> <property><name>dfs.datanode.data.dir</name><value>data/janus/hadoop-2.7.6/dfs/data</value> </property> <property><name>dfs.replication</name><value>1</value> </property><property> <name>dfs.namenode.secondary.http-address</name> <value>master:9001</value> </property> <property><name>dfs.webhdfs.enabled</name><value>true</value> </property>
</configuration>

建议在data/janus/hadoop-2.7.6下先创建name与data文件夹，并赋予777权限。

8、配置hadoop-2.7.6/etc/hadoop/yarn-site.xml：

<configuration><property><name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property><name>yarn.resourcemanager.address</name> <value>master:8032</value> </property> <property><name>yarn.resourcemanager.scheduler.address</name> <value>master:8030</value> </property> <property><name>yarn.resourcemanager.resource-tracker.address</name>  <value>master:8031</value> </property> <property><name>yarn.resourcemanager.admin.address</name>   <value>master:8033</value> </property> <property><name>yarn.resourcemanager.webapp.address</name> <value>master:8034</value> </property> 
</configuration>

9、配置hadoop-2.7.6/etc/hadoop/mapred-site.xml：

<configuration><property><name>mapreduce.framework.name</name> <value>yarn</value> </property> <property><name>mapreduce.jobhistory.address</name> <value>master:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>master:19888</value> </property>
</configuration>

10、初始化：

在hadoop-2.7.6/下执行：

bin/hdfs namenode -format

11、启动hadoop：

sbin/start-all.sh （停止sbin/stop-all.sh）

12、在浏览器中通过：

IP:50070进行访问。

四、安装zookeeper

1、下载zookeeper-3.49.tar.gz

2、解压：

tar -vxf zookeeper-3.49.tar.gz

3、配置zookeeper-3.4.9/conf/zoo.cfg：

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data/install_pakage/zookeeper-3.4.9/data
clientPort=2181

4、启动：

bin/zkServer.sh start 

查看启动状态 bin/zkServer.sh status

五、安装hbase-1.2.6

1、下载hbase-1.2.6-bin.tar.gz

2、解压：

tar -xvf hbase-1.2.6-bin.tar.gz

3、添加环境变量：

export HBASE_HOME=/data/janus/hbase-1.2.6
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin

4、配置hbase-1.2.6/conf/regionservers

改为master

5、配置hbase-1.2.6/conf/hbase-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_191-amd64/

6、配置hbase-1.2.6/conf/hbase-site.xml

<configuration><property> <name>hbase.rootdir</name><value>hdfs://master:9000/opt/hbase/hbase_db</value></property> <property> <name>hbase.cluster.distributed</name><value>true</value> </property><property> <name>hbase.zookeeper.quorum</name><value>master</value> </property>     <property><!--zookooper配置、日志等的存储位置 --><name>hbase.zookeeper.property.dataDir</name> <value>/data/janus/zookeeper-3.4.9/data</value></property>	
</configuration>

7、启动hbase：

bin/start-hbase.sh

8、通过网页访问：

IP:16010

六、安装elasticsearch-5.6.5

1、下载elasticsearch-5.6.5.zip

2、elasticsearch-5.6.5不允许使用root用户，所以需要首先新建用户和用户组：

adduser es
passwd es

groupadd esg
usermod -G esg es

chmod -R 777 elasticsearch-5.6.5

chown -R es elasticsearch-5.6.5
chgrp -R esg elasticsearch-5.6.5

3、配置elasticsearch-5.6.5/config/jvm.options

-Xms2g
-Xmx2g
改为
-Xms256m
-Xmx256m

4、配置elasticsearch-5.6.5/config/elasticsearch.yml

cluster.name: my-application
node.name: node-1
network.host: 192.168.0.234
http.port: 9200

5、启动elasticsearch-5.6.5

./bin/elasticsearch

后台启动：./bin/elasticsearch -d

结束后台进程：

ps -ef | grep elastic

kill -9 进程号

6、通过网页访问：

IP:9200

七、安装janusgraph并配置HTTP访问：

1、下载janusgraph-0.3.1-hadoop2.zip

2、解压：

unzip janusgraph-0.3.1-hadoop2.zip

3、复制janusgraph-hbase-es.properties 为http-janusgraph-hbase-es.properties 放在janusgraph-0.3.1-hadoop2/conf/gremlin-server目录下，http-janusgraph-hbase-es.properties配置如下：

storage.backend = hbase
storage.hostname = master
cache.db-cache = true
cache.db-cache-clean-wait = 20
cache.db-cache-time = 180000
cache.db-cache-size = 0.5
index.search.backend = elasticsearch
index.search.hostname = master
gremlin.graph = org.janusgraph.core.JanusGraphFactory
storage.hbase.table = janus

4、复制gremlin-server.yaml为http-gremlin-server.yaml 放在janusgraph-0.3.1-hadoop2/conf/gremlin-server目录下，http-gremlin-server.yaml 更改下列配置如下：

host: 192.168.0.234
port: 8182
scriptEvaluationTimeout: 30000
channelizer: org.apache.tinkerpop.gremlin.server.channel.HttpChannelizer
graphs: {graph: conf/gremlin-server/http-janusgraph-hbase-es.properties
}

5、运行gremlin-server：

./bin/gremlin-server.sh conf/gremlin-server/http-gremlin-server.yaml

6、通过web接口访问：

IP:8182/?gremlin=100-10

结果如下：

这篇关于Centos7.2 安装Hadoop、Hbase、Elasticsearch与JanusGraph并配置Http访问的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1115779。

相关文章

Vue 2 项目中配置 Tailwind CSS 和 Font Awesome 的最佳实践举例

Vue 2 项目中配置 Tailwind CSS 和 Font Awesome 的最佳实践举例

《Vue2项目中配置TailwindCSS和FontAwesome的最佳实践举例》：本文主要介绍Vue2项目中配置TailwindCSS和FontAwesome的最... 目录vue 2 项目中配置 Tailwind css 和 Font Awesome 的最佳实践一、Tailwind CSS 配置1. 安
阅读更多...
一文详解如何查看本地MySQL的安装路径

一文详解如何查看本地MySQL的安装路径

《一文详解如何查看本地MySQL的安装路径》本地安装MySQL对于初学者或者开发人员来说是一项基础技能,但在安装过程中可能会遇到各种问题,：本文主要介绍如何查看本地MySQL安装路径的相关资料,需... 目录1. 如何查看本地mysql的安装路径1.1. 方法1：通过查询本地服务1.2. 方法2：通过MyS
阅读更多...
电脑软件不能安装到C盘? 真相颠覆你的认知!

电脑软件不能安装到C盘? 真相颠覆你的认知!

《电脑软件不能安装到C盘?真相颠覆你的认知!》很多人习惯把软件装到D盘、E盘，刻意绕开C盘,这种习惯从哪来？让我们用数据和案例，拆解背后的3大原因... 我身边不少朋友，在使用电脑安装软件的时候，总是习惯性的把软件安装到D盘或者E盘等位置，刻意避开C盘。如果你也有这样的习惯，或者不明白为什么要这么做，那么我
阅读更多...
SpringBoot中HTTP连接池的配置与优化

SpringBoot中HTTP连接池的配置与优化

《SpringBoot中HTTP连接池的配置与优化》这篇文章主要为大家详细介绍了SpringBoot中HTTP连接池的配置与优化的相关知识,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一... 目录一、HTTP连接池的核心价值二、Spring Boot集成方案方案1：Apache HttpCl
阅读更多...
python通过curl实现访问deepseek的API

python通过curl实现访问deepseek的API

《python通过curl实现访问deepseek的API》这篇文章主要为大家详细介绍了python如何通过curl实现访问deepseek的API,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编... API申请和充值下面是deepeek的API网站https://platform.deepsee
阅读更多...
Maven 插件配置分层架构深度解析

Maven 插件配置分层架构深度解析

《Maven插件配置分层架构深度解析》：本文主要介绍Maven插件配置分层架构深度解析,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录Maven 插件配置分层架构深度解析引言：当构建逻辑遇上复杂配置第一章 Maven插件配置的三重境界1.1 插件配置的拓扑
阅读更多...
ubuntu20.0.4系统中安装Anaconda的超详细图文教程

ubuntu20.0.4系统中安装Anaconda的超详细图文教程

《ubuntu20.0.4系统中安装Anaconda的超详细图文教程》：本文主要介绍了在Ubuntu系统中如何下载和安装Anaconda，提供了两种方法，详细内容请阅读本文，希望能对你有所帮助... 本文介绍了在Ubuntu系统中如何下载和安装Anaconda。提供了两种方法，包括通过网页手动下载和使用wg
阅读更多...
Spring Boot集成Logback终极指南之从基础到高级配置实战指南

Spring Boot集成Logback终极指南之从基础到高级配置实战指南

《SpringBoot集成Logback终极指南之从基础到高级配置实战指南》Logback是一个可靠、通用且快速的Java日志框架,作为Log4j的继承者,由Log4j创始人设计,：本文主要介绍... 目录一、Logback简介与Spring Boot集成基础1.1 Logback是什么？1.2 Sprin
阅读更多...
ubuntu如何部署Dify以及安装Docker? Dify安装部署指南

ubuntu如何部署Dify以及安装Docker? Dify安装部署指南

《ubuntu如何部署Dify以及安装Docker?Dify安装部署指南》Dify是一个开源的大模型应用开发平台，允许用户快速构建和部署基于大语言模型的应用，ubuntu如何部署Dify呢？详细请... Dify是个不错的开源LLM应用开发平台，提供从 Agent 构建到 AI workflow 编排、RA
阅读更多...
如何在Ubuntu上安装NVIDIA显卡驱动? Ubuntu安装英伟达显卡驱动教程

如何在Ubuntu上安装NVIDIA显卡驱动? Ubuntu安装英伟达显卡驱动教程

《如何在Ubuntu上安装NVIDIA显卡驱动?Ubuntu安装英伟达显卡驱动教程》Windows系统不同，Linux系统通常不会自动安装专有显卡驱动，今天我们就来看看Ubuntu系统安装英伟达显卡... 对于使用NVIDIA显卡的Ubuntu用户来说，正确安装显卡驱动是获得最佳图形性能的关键。与Windo
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2