Apache Storm 集群安装配置

2024-08-22 14:58

本文主要是介绍Apache Storm 集群安装配置,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Apache Storm 集群安装配置

在上一篇文章:Apache Storm 实时计算系统中对Storm进行了简要的介绍,本篇文章主要介绍Storm的集群部署。

安装环境

要安装部署Storm,有以下几个步骤:

  • 安装 Java 1.7+
  • 安装 Zookeeper 集群
  • 安装 Apache Storm

由于本人机器环境已经安装了JavaZookeeper,所以对这两方面不做介绍。

集群环境需要多台机器,我这里准备3台机器,他们的IP地址分别是:

  • 192.168.31.224
  • 192.168.31.225
  • 192.168.31.226

下载、安装Storm

首先在Storm官网上下载一个Storm的包

官网地址如下:

http://storm.apache.org/downloads.html
我这里选择1.2.1版本(2018年5月27日16:13:23之前最新版本)

cd /usr/local
wget http://mirrors.hust.edu.cn/apache/storm/apache-storm-1.2.1/apache-storm-1.2.1.tar.gz 
tar -xzvf apache-storm-1.2.1.tar.gz
rm -rf apache-storm-1.2.1.tar.gz
mv apache-storm-1.2.1.tar.gz storm
vi storm/conf/storm.yaml

执行完以上命令之后,打开Strom的配置文件,修改配置文件以下内容

# 节点IP地址
storm.zookeeper.servers:- "192.168.31.224"
     - "192.168.31.225"
     - "192.168.31.226"
# nimbus 节点的ip
nimbus.seeds: ["192.168.31.224"]# 文件目录
storm.local.dir: "/var/storm"# 指定每个机器上可以启动多少个worker,一个端口号代表一个worker
supervisor.slots.ports:- 6700
     - 6701
     - 6702
     - 6703

修改完以上配置之后,添加环境变量,编辑~/.bashrc文件

export PATH=$PATH:$STORM_HOME/bin

让配置生效:

source ~/.bashrc

以上步骤在3台机器上都执行一遍。

接着在一台机器上启动nimbus/supervisor/ui,另外两台机器启动supervisor即可。

192.168.31.224那台机器执行:

storm nimbus >/dev/null 2>&1 &
storm supervisor >/dev/null 2>&1 &
storm ui >/dev/null 2>&1 &

执行完之后,可以通过jps命令查看:

[root@vm1 storm]# jps
1939 nimbus
2051 Supervisor
2277 Jps
1129 QuorumPeerMain
2159 core
1151 Kafka

可以看到nimbusSupervisor进程,UI进程是core

192.168.31.225/192.168.31.226这两台机器上启动supervisor

storm supervisor >/dev/null 2>&1 &

此时可以访问192.168.31.224:8080看到Strom运行的UI界面。

这里写图片描述

总结

至此,Storm的安装已经完毕,接下来就可以进行拓扑的开发让Storm工作了。

这篇关于Apache Storm 集群安装配置的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1096601

相关文章

MySQL数据库双机热备的配置方法详解

《MySQL数据库双机热备的配置方法详解》在企业级应用中,数据库的高可用性和数据的安全性是至关重要的,MySQL作为最流行的开源关系型数据库管理系统之一,提供了多种方式来实现高可用性,其中双机热备(M... 目录1. 环境准备1.1 安装mysql1.2 配置MySQL1.2.1 主服务器配置1.2.2 从

Linux云服务器手动配置DNS的方法步骤

《Linux云服务器手动配置DNS的方法步骤》在Linux云服务器上手动配置DNS(域名系统)是确保服务器能够正常解析域名的重要步骤,以下是详细的配置方法,包括系统文件的修改和常见问题的解决方案,需要... 目录1. 为什么需要手动配置 DNS?2. 手动配置 DNS 的方法方法 1:修改 /etc/res

mysql8.0.43使用InnoDB Cluster配置主从复制

《mysql8.0.43使用InnoDBCluster配置主从复制》本文主要介绍了mysql8.0.43使用InnoDBCluster配置主从复制,文中通过示例代码介绍的非常详细,对大家的学习或者... 目录1、配置Hosts解析(所有服务器都要执行)2、安装mysql shell(所有服务器都要执行)3、

java程序远程debug原理与配置全过程

《java程序远程debug原理与配置全过程》文章介绍了Java远程调试的JPDA体系,包含JVMTI监控JVM、JDWP传输调试命令、JDI提供调试接口,通过-Xdebug、-Xrunjdwp参数配... 目录背景组成模块间联系IBM对三个模块的详细介绍编程使用总结背景日常工作中,每个程序员都会遇到bu

python依赖管理工具UV的安装和使用教程

《python依赖管理工具UV的安装和使用教程》UV是一个用Rust编写的Python包安装和依赖管理工具,比传统工具(如pip)有着更快、更高效的体验,:本文主要介绍python依赖管理工具UV... 目录前言一、命令安装uv二、手动编译安装2.1在archlinux安装uv的依赖工具2.2从github

JDK8(Java Development kit)的安装与配置全过程

《JDK8(JavaDevelopmentkit)的安装与配置全过程》文章简要介绍了Java的核心特点(如跨平台、JVM机制)及JDK/JRE的区别,重点讲解了如何通过配置环境变量(PATH和JA... 目录Java特点JDKJREJDK的下载,安装配置环境变量总结Java特点说起 Java,大家肯定都

linux配置podman阿里云容器镜像加速器详解

《linux配置podman阿里云容器镜像加速器详解》本文指导如何配置Podman使用阿里云容器镜像加速器:登录阿里云获取专属加速地址,修改Podman配置文件并移除https://前缀,最后拉取镜像... 目录1.下载podman2.获取阿里云个人容器镜像加速器地址3.更改podman配置文件4.使用po

Vue3 如何通过json配置生成查询表单

《Vue3如何通过json配置生成查询表单》本文给大家介绍Vue3如何通过json配置生成查询表单,本文结合实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录功能实现背景项目代码案例功能实现背景通过vue3实现后台管理项目一定含有表格功能,通常离不开表单

mybatis映射器配置小结

《mybatis映射器配置小结》本文详解MyBatis映射器配置,重点讲解字段映射的三种解决方案(别名、自动驼峰映射、resultMap),文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定... 目录select中字段的映射问题使用SQL语句中的别名功能使用mapUnderscoreToCame

Linux下MySQL数据库定时备份脚本与Crontab配置教学

《Linux下MySQL数据库定时备份脚本与Crontab配置教学》在生产环境中,数据库是核心资产之一,定期备份数据库可以有效防止意外数据丢失,本文将分享一份MySQL定时备份脚本,并讲解如何通过cr... 目录备份脚本详解脚本功能说明授权与可执行权限使用 Crontab 定时执行编辑 Crontab添加定