Apache Storm 集群安装配置

2024-08-22 14:58

本文主要是介绍Apache Storm 集群安装配置,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Apache Storm 集群安装配置

在上一篇文章:Apache Storm 实时计算系统中对Storm进行了简要的介绍,本篇文章主要介绍Storm的集群部署。

安装环境

要安装部署Storm,有以下几个步骤:

  • 安装 Java 1.7+
  • 安装 Zookeeper 集群
  • 安装 Apache Storm

由于本人机器环境已经安装了JavaZookeeper,所以对这两方面不做介绍。

集群环境需要多台机器,我这里准备3台机器,他们的IP地址分别是:

  • 192.168.31.224
  • 192.168.31.225
  • 192.168.31.226

下载、安装Storm

首先在Storm官网上下载一个Storm的包

官网地址如下:

http://storm.apache.org/downloads.html
我这里选择1.2.1版本(2018年5月27日16:13:23之前最新版本)

cd /usr/local
wget http://mirrors.hust.edu.cn/apache/storm/apache-storm-1.2.1/apache-storm-1.2.1.tar.gz 
tar -xzvf apache-storm-1.2.1.tar.gz
rm -rf apache-storm-1.2.1.tar.gz
mv apache-storm-1.2.1.tar.gz storm
vi storm/conf/storm.yaml

执行完以上命令之后,打开Strom的配置文件,修改配置文件以下内容

# 节点IP地址
storm.zookeeper.servers:- "192.168.31.224"
     - "192.168.31.225"
     - "192.168.31.226"
# nimbus 节点的ip
nimbus.seeds: ["192.168.31.224"]# 文件目录
storm.local.dir: "/var/storm"# 指定每个机器上可以启动多少个worker,一个端口号代表一个worker
supervisor.slots.ports:- 6700
     - 6701
     - 6702
     - 6703

修改完以上配置之后,添加环境变量,编辑~/.bashrc文件

export PATH=$PATH:$STORM_HOME/bin

让配置生效:

source ~/.bashrc

以上步骤在3台机器上都执行一遍。

接着在一台机器上启动nimbus/supervisor/ui,另外两台机器启动supervisor即可。

192.168.31.224那台机器执行:

storm nimbus >/dev/null 2>&1 &
storm supervisor >/dev/null 2>&1 &
storm ui >/dev/null 2>&1 &

执行完之后,可以通过jps命令查看:

[root@vm1 storm]# jps
1939 nimbus
2051 Supervisor
2277 Jps
1129 QuorumPeerMain
2159 core
1151 Kafka

可以看到nimbusSupervisor进程,UI进程是core

192.168.31.225/192.168.31.226这两台机器上启动supervisor

storm supervisor >/dev/null 2>&1 &

此时可以访问192.168.31.224:8080看到Strom运行的UI界面。

这里写图片描述

总结

至此,Storm的安装已经完毕,接下来就可以进行拓扑的开发让Storm工作了。

这篇关于Apache Storm 集群安装配置的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1096601

相关文章

Java使用jar命令配置服务器端口的完整指南

《Java使用jar命令配置服务器端口的完整指南》本文将详细介绍如何使用java-jar命令启动应用,并重点讲解如何配置服务器端口,同时提供一个实用的Web工具来简化这一过程,希望对大家有所帮助... 目录1. Java Jar文件简介1.1 什么是Jar文件1.2 创建可执行Jar文件2. 使用java

SpringBoot 多环境开发实战(从配置、管理与控制)

《SpringBoot多环境开发实战(从配置、管理与控制)》本文详解SpringBoot多环境配置,涵盖单文件YAML、多文件模式、MavenProfile分组及激活策略,通过优先级控制灵活切换环境... 目录一、多环境开发基础(单文件 YAML 版)(一)配置原理与优势(二)实操示例二、多环境开发多文件版

Vite 打包目录结构自定义配置小结

《Vite打包目录结构自定义配置小结》在Vite工程开发中,默认打包后的dist目录资源常集中在asset目录下,不利于资源管理,本文基于Rollup配置原理,本文就来介绍一下通过Vite配置自定义... 目录一、实现原理二、具体配置步骤1. 基础配置文件2. 配置说明(1)js 资源分离(2)非 JS 资

MySQL8 密码强度评估与配置详解

《MySQL8密码强度评估与配置详解》MySQL8默认启用密码强度插件,实施MEDIUM策略(长度8、含数字/字母/特殊字符),支持动态调整与配置文件设置,推荐使用STRONG策略并定期更新密码以提... 目录一、mysql 8 密码强度评估机制1.核心插件:validate_password2.密码策略级

ShardingProxy读写分离之原理、配置与实践过程

《ShardingProxy读写分离之原理、配置与实践过程》ShardingProxy是ApacheShardingSphere的数据库中间件,通过三层架构实现读写分离,解决高并发场景下数据库性能瓶... 目录一、ShardingProxy技术定位与读写分离核心价值1.1 技术定位1.2 读写分离核心价值二

QT Creator配置Kit的实现示例

《QTCreator配置Kit的实现示例》本文主要介绍了使用Qt5.12.12与VS2022时,因MSVC编译器版本不匹配及WindowsSDK缺失导致配置错误的问题解决,感兴趣的可以了解一下... 目录0、背景:qt5.12.12+vs2022一、症状:二、原因:(可以跳过,直奔后面的解决方法)三、解决方

SpringBoot路径映射配置的实现步骤

《SpringBoot路径映射配置的实现步骤》本文介绍了如何在SpringBoot项目中配置路径映射,使得除static目录外的资源可被访问,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一... 目录SpringBoot路径映射补:springboot 配置虚拟路径映射 @RequestMapp

RabbitMQ 延时队列插件安装与使用示例详解(基于 Delayed Message Plugin)

《RabbitMQ延时队列插件安装与使用示例详解(基于DelayedMessagePlugin)》本文详解RabbitMQ通过安装rabbitmq_delayed_message_exchan... 目录 一、什么是 RabbitMQ 延时队列? 二、安装前准备✅ RabbitMQ 环境要求 三、安装延时队

linux系统上安装JDK8全过程

《linux系统上安装JDK8全过程》文章介绍安装JDK的必要性及Linux下JDK8的安装步骤,包括卸载旧版本、下载解压、配置环境变量等,强调开发需JDK,运行可选JRE,现JDK已集成JRE... 目录为什么要安装jdk?1.查看linux系统是否有自带的jdk:2.下载jdk压缩包2.解压3.配置环境

Nginx中配置使用非默认80端口进行服务的完整指南

《Nginx中配置使用非默认80端口进行服务的完整指南》在实际生产环境中,我们经常需要将Nginx配置在其他端口上运行,本文将详细介绍如何在Nginx中配置使用非默认端口进行服务,希望对大家有所帮助... 目录一、为什么需要使用非默认端口二、配置Nginx使用非默认端口的基本方法2.1 修改listen指令