Apach Ozone部署

2023-11-22 20:12
文章标签 部署 apach ozone

本文主要是介绍Apach Ozone部署,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

前言

最近由于工作需要,要部署一套ozone。我自己对hadoop这套体系不是很熟悉,所以过程磕磕碰碰,好不容易勉强搭起来,所以记录一下部署方式

准备

三台主机,主机均已安装jdk、hdfs,相关的安装配置就不另外写了,网上很多教程。

本次安装部署版本为当前最新的ozone-1.3.0版

部署步骤

1、ozone官网下载安装包,ozone有多种安装方式(docker、二进制包、源码编译等)。这里用二进制包安装方式。下载地址:Apache Ozone。这里下载了1.3.0版。ozone-1.3.0.tar.gz

2、上传到服务器:

部分服务器没有szrz命令的,可以通过scp命令进行复制:

scp ozone-1.3.0.tar.gz username@remote_ip:~/

解压

tar zxvf ozone-1.3.0.tar.gz

3、生成配置文件

进入ozone目录

cd  ozone

生成配置文件ozone-site.xml到etc/hadoop目录下

bin/ozone genconf etc/hadoop

PS:如果生成配置文件前/etc/hadoop已存在ozone-site.xml,则先行删除。

4、规划各机器职责并完成配置文件的配置

规划ozone的Ozone Manager(OM)、Storage Container Manager(SCM)、Datanodes服务分别部署在哪些机器上。假设在a主机上启动OM、SCM服务,a、b、c上启动Datanodes服务。

在ab、c主机上创建元数据存储文件夹

mkdir -p 自定义目录/ozonedata/meta

在a、b、c主机上分别创建数据存储文件夹

mkdir -p 自定义目录/ozonedata/data

配置etc/hadoop/ozone-site.xml

<?xml version="1.0" encoding="UTF-8" standalone="yes"?>
<configuration><property><name>ozone.om.address</name><value>A主机ip</value><tag>OM, REQUIRED</tag></property><property><name>ozone.metadata.dirs</name><value>用户目录/ozonedata/meta</value><tag>OZONE, OM, SCM, CONTAINER, STORAGE, REQUIRED</tag></property><property><name>ozone.scm.client.address</name><value>A主机ip:9860</value><tag>OZONE, SCM, REQUIRED</tag></property><property><name>ozone.scm.names</name><value>A主机ip</value><tag>OZONE, REQUIRED</tag></property><property><name>ozone.scm.datanode.id.dir</name><value>用户目录/ozonedata/data</value></property><property><name>ozone.enabled</name><value>true</value></property><property><name>ozone.scm.datanode.id</name><value>用户目录/ozonedata/data/datanode.id</value></property>
</configuration>

配置etc/hadoop/core-site.xml

<configuration><property><name>fs.AbstractFileSystem.o3fs.impl</name><value>org.apache.hadoop.fs.ozone.OzFs</value></property><property><name>fs.defaultFS</name><value>o3fs://bucket.volume</value></property>
</configuration>

在A主机上启动OM、SCM和datanode

到ozone-1.3.0/bin目录下执行

./ozone --daemon start scm
./ozone --daemon start om
./ozone --daemon start datanode

B、C主机下启动datanode

到ozone-1.3.0/bin目录下执行

./ozone --daemon start datanode

可以到ozone-1.3.0/logs目录下查看是否启动成功。由于datanode使用ratis协议,所以至少要部署3个节点,否则写入数据的时候会报:

INTERNAL_ERROR Allocated 0 blocks. Requested 1 blocks

验证

尝试创建一个卷(volume):

./ozone sh volume create volume

在卷下面创建一个桶(bucket):

./ozone sh bucket create volume/bucket

在桶下面往key写入一个文件:

./ozone sh key put volume/bucket/mykey1 用户目录/ozone-1.3.0/etc/hadoop/ozone-site.xml

之后通过查看桶下面的key,以及myKey1下的文件内容,验证是否写入成功

./ozone sh key ls volume/bucket
./ozone sh key cat volume/bucket/mykey1

小结

本文主要介绍了ozone的基本部署。ozone还有很多高可用、安全性等等的配置值得深入研究,因为笔者还没有需要使用,所以暂时没有去研究,有兴趣的读者也可以参考官网文档:https://ozone.apache.org/docs/1.3.0/zh/index.html

 

这篇关于Apach Ozone部署的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/412632

相关文章

Web技术与Nginx网站环境部署教程

《Web技术与Nginx网站环境部署教程》:本文主要介绍Web技术与Nginx网站环境部署教程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、Web基础1.域名系统DNS2.Hosts文件3.DNS4.域名注册二.网页与html1.网页概述2.HTML概述3.

Nginx使用Keepalived部署web集群(高可用高性能负载均衡)实战案例

《Nginx使用Keepalived部署web集群(高可用高性能负载均衡)实战案例》本文介绍Nginx+Keepalived实现Web集群高可用负载均衡的部署与测试,涵盖架构设计、环境配置、健康检查、... 目录前言一、架构设计二、环境准备三、案例部署配置 前端 Keepalived配置 前端 Nginx

ubuntu如何部署Dify以及安装Docker? Dify安装部署指南

《ubuntu如何部署Dify以及安装Docker?Dify安装部署指南》Dify是一个开源的大模型应用开发平台,允许用户快速构建和部署基于大语言模型的应用,ubuntu如何部署Dify呢?详细请... Dify是个不错的开源LLM应用开发平台,提供从 Agent 构建到 AI workflow 编排、RA

ubuntu16.04如何部署dify? 在Linux上安装部署Dify的技巧

《ubuntu16.04如何部署dify?在Linux上安装部署Dify的技巧》随着云计算和容器技术的快速发展,Docker已经成为现代软件开发和部署的重要工具之一,Dify作为一款优秀的云原生应用... Dify 是一个基于 docker 的工作流管理工具,旨在简化机器学习和数据科学领域的多步骤工作流。它

Nginx部署React项目时重定向循环问题的解决方案

《Nginx部署React项目时重定向循环问题的解决方案》Nginx在处理React项目请求时出现重定向循环,通常是由于`try_files`配置错误或`root`路径配置不当导致的,本文给大家详细介... 目录问题原因1. try_files 配置错误2. root 路径错误解决方法1. 检查 try_f

Spring Boot项目部署命令java -jar的各种参数及作用详解

《SpringBoot项目部署命令java-jar的各种参数及作用详解》:本文主要介绍SpringBoot项目部署命令java-jar的各种参数及作用的相关资料,包括设置内存大小、垃圾回收... 目录前言一、基础命令结构二、常见的 Java 命令参数1. 设置内存大小2. 配置垃圾回收器3. 配置线程栈大小

tomcat多实例部署的项目实践

《tomcat多实例部署的项目实践》Tomcat多实例是指在一台设备上运行多个Tomcat服务,这些Tomcat相互独立,本文主要介绍了tomcat多实例部署的项目实践,具有一定的参考价值,感兴趣的可... 目录1.创建项目目录,测试文China编程件2js.创建实例的安装目录3.准备实例的配置文件4.编辑实例的

SpringBoot配置Ollama实现本地部署DeepSeek

《SpringBoot配置Ollama实现本地部署DeepSeek》本文主要介绍了在本地环境中使用Ollama配置DeepSeek模型,并在IntelliJIDEA中创建一个Sprin... 目录前言详细步骤一、本地配置DeepSeek二、SpringBoot项目调用本地DeepSeek前言随着人工智能技

通过Docker Compose部署MySQL的详细教程

《通过DockerCompose部署MySQL的详细教程》DockerCompose作为Docker官方的容器编排工具,为MySQL数据库部署带来了显著优势,下面小编就来为大家详细介绍一... 目录一、docker Compose 部署 mysql 的优势二、环境准备与基础配置2.1 项目目录结构2.2 基

CentOS 7部署主域名服务器 DNS的方法

《CentOS7部署主域名服务器DNS的方法》文章详细介绍了在CentOS7上部署主域名服务器DNS的步骤,包括安装BIND服务、配置DNS服务、添加域名区域、创建区域文件、配置反向解析、检查配置... 目录1. 安装 BIND 服务和工具2.  配置 BIND 服务3 . 添加你的域名区域配置4.创建区域