Kafka使用ambari安装遇到的问题

2024-06-08 21:58

本文主要是介绍Kafka使用ambari安装遇到的问题,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

错误1 : kafka.common.InconsistentBrokerIdException: Configured brokerId 1 doesn’t match stored brokerId 0 in meta.properties

[2016-06-29 15:05:29,127] FATAL Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)
kafka.common.InconsistentBrokerIdException: Configured brokerId 1 doesn't match stored brokerId 0 in meta.propertiesat kafka.server.KafkaServer.getBrokerId(KafkaServer.scala:630)at kafka.server.KafkaServer.startup(KafkaServer.scala:175)at io.confluent.support.metrics.SupportedServerStartable.startup(SupportedServerStartable.java:99)at io.confluent.support.metrics.SupportedKafka.main(SupportedKafka.java:45)

解决方案:
$KAFKA_HOME/conf/server.properties文件里的属性值log.dirs=/storage/kafka-logs,进入/storage/kafka-logs(具体看log.dirs后面的值)目录,修改meta.properties文件

源文件

version=0
broker.id=0

修改后(修改broker.id为当前节点的broker.id)

version=0
broker.id=1

错误2 : ambari安装Kafka后其他节点使用broker的IP无法访问

ambari安装Kafka后,管理页面看到的配置是
这里写图片描述

在broker节点上看到的配置是【管理页面配置的localhost会自动映射为当前节点的主机名】
这里写图片描述

然后用JAVA代码生产、消费Kafka,报错

package cn.gcks.kafka_test;import java.util.Properties;import kafka.javaapi.producer.Producer;
import kafka.producer.KeyedMessage;
import kafka.producer.ProducerConfig;
import kafka.serializer.StringEncoder;public class Test123 {public static void main(String[] args) {Properties properties = new Properties();properties.put("zookeeper.connect", "111.111.111.111:2181,111.111.111.112:2181,111.111.111.113:2181");properties.put("serializer.class", StringEncoder.class.getName());properties.put("metadata.broker.list", "111.111.111.111:6667,111.111.111.112:6667,111.111.111.113:6667");Producer<Integer, String> producer = new Producer<Integer, String>(new ProducerConfig(properties));for (int i = 0; i < 100; i++) {producer.send(new KeyedMessage<Integer, String>("test123", "dddddd: " + i++));}}
}

具体原因:
这里写图片描述

解决方案:分别修改每个broker的$KAFKA_HOME/conf/server.properties文件,属性这里写图片描述,主机名改成IP

这篇关于Kafka使用ambari安装遇到的问题的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/1043416

相关文章

使用Go调用第三方API的方法详解

《使用Go调用第三方API的方法详解》在现代应用开发中,调用第三方API是非常常见的场景,比如获取天气预报、翻译文本、发送短信等,Go作为一门高效并发的编程语言,拥有强大的标准库和丰富的第三方库,可以... 目录引言一、准备工作二、案例1:调用天气查询 API1. 注册并获取 API Key2. 代码实现3

MySQL8.0临时表空间的使用及解读

《MySQL8.0临时表空间的使用及解读》MySQL8.0+引入会话级(temp_N.ibt)和全局(ibtmp1)InnoDB临时表空间,用于存储临时数据及事务日志,自动创建与回收,重启释放,管理高... 目录一、核心概念:为什么需要“临时表空间”?二、InnoDB 临时表空间的两种类型1. 会话级临时表

MySQL之复合查询使用及说明

《MySQL之复合查询使用及说明》文章讲解了SQL复合查询中emp、dept、salgrade三张表的使用,涵盖多表连接、自连接、子查询(单行/多行/多列)及合并查询(UNION/UNIONALL)等... 目录复合查询基本查询回顾多表查询笛卡尔积自连接子查询单行子查询多行子查询多列子查询在from子句中使

Kotlin 协程之Channel的概念和基本使用详解

《Kotlin协程之Channel的概念和基本使用详解》文章介绍协程在复杂场景中使用Channel进行数据传递与控制,涵盖创建参数、缓冲策略、操作方式及异常处理,适用于持续数据流、多协程协作等,需注... 目录前言launch / async 适合的场景Channel 的概念和基本使用概念Channel 的

C#使用SendMessage实现进程间通信的示例代码

《C#使用SendMessage实现进程间通信的示例代码》在软件开发中,进程间通信(IPC)是关键技术之一,C#通过调用WindowsAPI的SendMessage函数实现这一功能,本文将通过实例介绍... 目录第一章:SendMessage的底层原理揭秘第二章:构建跨进程通信桥梁2.1 定义通信协议2.2

使用python制作一款文件粉碎工具

《使用python制作一款文件粉碎工具》这篇文章主要为大家详细介绍了如何使用python制作一款文件粉碎工具,能够有效粉碎密码文件和机密Excel表格等,感兴趣的小伙伴可以了解一下... 文件粉碎工具:适用于粉碎密码文件和机密的escel表格等等,主要作用就是防止 别人用数据恢复大师把你刚删除的机密的文件恢

MySQL使用EXISTS检查记录是否存在的详细过程

《MySQL使用EXISTS检查记录是否存在的详细过程》EXISTS是SQL中用于检查子查询是否返回至少一条记录的运算符,它通常用于测试是否存在满足特定条件的记录,从而在主查询中进行相应操作,本文给大... 目录基本语法示例数据库和表结构1. 使用 EXISTS 在 SELECT 语句中2. 使用 EXIS

k8s容器放开锁内存限制问题

《k8s容器放开锁内存限制问题》nccl-test容器运行mpirun时因NCCL_BUFFSIZE过大导致OOM,需通过修改docker服务配置文件,将LimitMEMLOCK设为infinity并... 目录问题问题确认放开容器max locked memory限制总结参考:https://Access

在Android中使用WebView在线查看PDF文件的方法示例

《在Android中使用WebView在线查看PDF文件的方法示例》在Android应用开发中,有时我们需要在客户端展示PDF文件,以便用户可以阅读或交互,:本文主要介绍在Android中使用We... 目录简介:1. WebView组件介绍2. 在androidManifest.XML中添加Interne

Java中字符编码问题的解决方法详解

《Java中字符编码问题的解决方法详解》在日常Java开发中,字符编码问题是一个非常常见却又特别容易踩坑的地方,这篇文章就带你一步一步看清楚字符编码的来龙去脉,并结合可运行的代码,看看如何在Java项... 目录前言背景:为什么会出现编码问题常见场景分析控制台输出乱码文件读写乱码数据库存取乱码解决方案统一使