Apach Ozone部署

2023-11-22 20:12
文章标签 部署 apach ozone

本文主要是介绍Apach Ozone部署,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

前言

最近由于工作需要,要部署一套ozone。我自己对hadoop这套体系不是很熟悉,所以过程磕磕碰碰,好不容易勉强搭起来,所以记录一下部署方式

准备

三台主机,主机均已安装jdk、hdfs,相关的安装配置就不另外写了,网上很多教程。

本次安装部署版本为当前最新的ozone-1.3.0版

部署步骤

1、ozone官网下载安装包,ozone有多种安装方式(docker、二进制包、源码编译等)。这里用二进制包安装方式。下载地址:Apache Ozone。这里下载了1.3.0版。ozone-1.3.0.tar.gz

2、上传到服务器:

部分服务器没有szrz命令的,可以通过scp命令进行复制:

scp ozone-1.3.0.tar.gz username@remote_ip:~/

解压

tar zxvf ozone-1.3.0.tar.gz

3、生成配置文件

进入ozone目录

cd  ozone

生成配置文件ozone-site.xml到etc/hadoop目录下

bin/ozone genconf etc/hadoop

PS:如果生成配置文件前/etc/hadoop已存在ozone-site.xml,则先行删除。

4、规划各机器职责并完成配置文件的配置

规划ozone的Ozone Manager(OM)、Storage Container Manager(SCM)、Datanodes服务分别部署在哪些机器上。假设在a主机上启动OM、SCM服务,a、b、c上启动Datanodes服务。

在ab、c主机上创建元数据存储文件夹

mkdir -p 自定义目录/ozonedata/meta

在a、b、c主机上分别创建数据存储文件夹

mkdir -p 自定义目录/ozonedata/data

配置etc/hadoop/ozone-site.xml

<?xml version="1.0" encoding="UTF-8" standalone="yes"?>
<configuration><property><name>ozone.om.address</name><value>A主机ip</value><tag>OM, REQUIRED</tag></property><property><name>ozone.metadata.dirs</name><value>用户目录/ozonedata/meta</value><tag>OZONE, OM, SCM, CONTAINER, STORAGE, REQUIRED</tag></property><property><name>ozone.scm.client.address</name><value>A主机ip:9860</value><tag>OZONE, SCM, REQUIRED</tag></property><property><name>ozone.scm.names</name><value>A主机ip</value><tag>OZONE, REQUIRED</tag></property><property><name>ozone.scm.datanode.id.dir</name><value>用户目录/ozonedata/data</value></property><property><name>ozone.enabled</name><value>true</value></property><property><name>ozone.scm.datanode.id</name><value>用户目录/ozonedata/data/datanode.id</value></property>
</configuration>

配置etc/hadoop/core-site.xml

<configuration><property><name>fs.AbstractFileSystem.o3fs.impl</name><value>org.apache.hadoop.fs.ozone.OzFs</value></property><property><name>fs.defaultFS</name><value>o3fs://bucket.volume</value></property>
</configuration>

在A主机上启动OM、SCM和datanode

到ozone-1.3.0/bin目录下执行

./ozone --daemon start scm
./ozone --daemon start om
./ozone --daemon start datanode

B、C主机下启动datanode

到ozone-1.3.0/bin目录下执行

./ozone --daemon start datanode

可以到ozone-1.3.0/logs目录下查看是否启动成功。由于datanode使用ratis协议,所以至少要部署3个节点,否则写入数据的时候会报:

INTERNAL_ERROR Allocated 0 blocks. Requested 1 blocks

验证

尝试创建一个卷(volume):

./ozone sh volume create volume

在卷下面创建一个桶(bucket):

./ozone sh bucket create volume/bucket

在桶下面往key写入一个文件:

./ozone sh key put volume/bucket/mykey1 用户目录/ozone-1.3.0/etc/hadoop/ozone-site.xml

之后通过查看桶下面的key,以及myKey1下的文件内容,验证是否写入成功

./ozone sh key ls volume/bucket
./ozone sh key cat volume/bucket/mykey1

小结

本文主要介绍了ozone的基本部署。ozone还有很多高可用、安全性等等的配置值得深入研究,因为笔者还没有需要使用,所以暂时没有去研究,有兴趣的读者也可以参考官网文档:https://ozone.apache.org/docs/1.3.0/zh/index.html

 

这篇关于Apach Ozone部署的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/412632

相关文章

Nginx分布式部署流程分析

《Nginx分布式部署流程分析》文章介绍Nginx在分布式部署中的反向代理和负载均衡作用,用于分发请求、减轻服务器压力及解决session共享问题,涵盖配置方法、策略及Java项目应用,并提及分布式事... 目录分布式部署NginxJava中的代理代理分为正向代理和反向代理正向代理反向代理Nginx应用场景

linux部署NFS和autofs自动挂载实现过程

《linux部署NFS和autofs自动挂载实现过程》文章介绍了NFS(网络文件系统)和Autofs的原理与配置,NFS通过RPC实现跨系统文件共享,需配置/etc/exports和nfs.conf,... 目录(一)NFS1. 什么是NFS2.NFS守护进程3.RPC服务4. 原理5. 部署5.1安装NF

通过Docker容器部署Python环境的全流程

《通过Docker容器部署Python环境的全流程》在现代化开发流程中,Docker因其轻量化、环境隔离和跨平台一致性的特性,已成为部署Python应用的标准工具,本文将详细演示如何通过Docker容... 目录引言一、docker与python的协同优势二、核心步骤详解三、进阶配置技巧四、生产环境最佳实践

Nginx部署HTTP/3的实现步骤

《Nginx部署HTTP/3的实现步骤》本文介绍了在Nginx中部署HTTP/3的详细步骤,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学... 目录前提条件第一步:安装必要的依赖库第二步:获取并构建 BoringSSL第三步:获取 Nginx

redis-sentinel基础概念及部署流程

《redis-sentinel基础概念及部署流程》RedisSentinel是Redis的高可用解决方案,通过监控主从节点、自动故障转移、通知机制及配置提供,实现集群故障恢复与服务持续可用,核心组件包... 目录一. 引言二. 核心功能三. 核心组件四. 故障转移流程五. 服务部署六. sentinel部署

Linux部署中的文件大小写问题的解决方案

《Linux部署中的文件大小写问题的解决方案》在本地开发环境(Windows/macOS)一切正常,但部署到Linux服务器后出现模块加载错误,核心原因是Linux文件系统严格区分大小写,所以本文给大... 目录问题背景解决方案配置要求问题背景在本地开发环境(Windows/MACOS)一切正常,但部署到

使用IDEA部署Docker应用指南分享

《使用IDEA部署Docker应用指南分享》本文介绍了使用IDEA部署Docker应用的四步流程:创建Dockerfile、配置IDEADocker连接、设置运行调试环境、构建运行镜像,并强调需准备本... 目录一、创建 dockerfile 配置文件二、配置 IDEA 的 Docker 连接三、配置 Do

MySQL 主从复制部署及验证(示例详解)

《MySQL主从复制部署及验证(示例详解)》本文介绍MySQL主从复制部署步骤及学校管理数据库创建脚本,包含表结构设计、示例数据插入和查询语句,用于验证主从同步功能,感兴趣的朋友一起看看吧... 目录mysql 主从复制部署指南部署步骤1.环境准备2. 主服务器配置3. 创建复制用户4. 获取主服务器状态5

golang程序打包成脚本部署到Linux系统方式

《golang程序打包成脚本部署到Linux系统方式》Golang程序通过本地编译(设置GOOS为linux生成无后缀二进制文件),上传至Linux服务器后赋权执行,使用nohup命令实现后台运行,完... 目录本地编译golang程序上传Golang二进制文件到linux服务器总结本地编译Golang程序

如何在Ubuntu 24.04上部署Zabbix 7.0对服务器进行监控

《如何在Ubuntu24.04上部署Zabbix7.0对服务器进行监控》在Ubuntu24.04上部署Zabbix7.0监控阿里云ECS服务器,需配置MariaDB数据库、开放10050/1005... 目录软硬件信息部署步骤步骤 1:安装并配置mariadb步骤 2:安装Zabbix 7.0 Server