#####好####Kafka基本操作命令

2024-05-07 15:08

本文主要是介绍#####好####Kafka基本操作命令,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

[Kafka] - Kafka基本操作命令

Kafka支持的基本命令位于${KAFKA_HOME}/bin文件夹中,主要是kafka-topics.sh命令;Kafka命令参考页面: kafka-0.8.x-帮助文档

 

 -1. 查看帮助信息

bin/kafka-topics.sh --help

 

-2. 创建Topic

bin/kafka-topics.sh --create --topic test0 --zookeeper 192.168.187.146:2181 --config max.message.bytes=12800000 --config flush.messages=1 --partitions 5 --replication-factor 1

--create: 指定创建topic动作

--topic:指定新建topic的名称

--zookeeper: 指定kafka连接zk的连接url,该值和server.properties文件中的配置项{zookeeper.connect}一样

--config:指定当前topic上有效的参数值,参数列表参考文档为: Topic-level configuration

--partitions:指定当前创建的kafka分区数量,默认为1个

--replication-factor:指定每个分区的复制因子个数,默认1个

 

-3. 查看当前Kafka集群中Topic的情况

bin/kafka-topics.sh --list --zookeeper 192.168.187.146:2181

 

-4. 查看对应topic的描述信息

bin/kafka-topics.sh --describe --zookeeper 192.168.187.146:2181  --topic test0

--describe: 指定是展示详细信息命令

--zookeeper: 指定kafka连接zk的连接url,该值和server.properties文件中的配置项{zookeeper.connect}一样

--topic:指定需要展示数据的topic名称

 

-5. Topic信息修改

bin/kafka-topics.sh --zookeeper 192.168.187.146:2181 --alter --topic test0 --config max.message.bytes=128000
bin/kafka-topics.sh --zookeeper 192.168.187.146:2181 --alter --topic test0 --delete-config max.message.bytes
bin/kafka-topics.sh --zookeeper 192.168.187.146:2181 --alter --topic test0 --partitions 10 
bin/kafka-topics.sh --zookeeper 192.168.187.146:2181 --alter --topic test0 --partitions 3 ## Kafka分区数量只允许增加,不允许减少

 

-6. Topic删除

默认情况下Kafka的Topic是没法直接删除的,需要进行相关参数配置

bin/kafka-topics.sh --delete --topic test0 --zookeeper 192.168.187.146:2181

Note: This will have no impact if delete.topic.enable is not set to true.## 默认情况下,删除是标记删除,没有实际删除这个Topic;如果运行删除Topic,两种方式:
方式一:通过delete命令删除后,手动将本地磁盘以及zk上的相关topic的信息删除即可
方式二:配置server.properties文件,给定参数delete.topic.enable=true,重启kafka服务,此时执行delete命令表示允许进行Topic的删除

这篇关于#####好####Kafka基本操作命令的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/967694

相关文章

Maven无法下载、mirror配置、mvn不是内部命令

maven无法下载 Inspects a Maven model for resolution problems jar资源下载出错,原因肯定是各种各样,下面提供几个解决方案: 如果有vpn的话,尝试配置vpn后,再次配置pom.xml 尝试配置其他镜像库,比如说:阿里云(setting文件的mirrors中添加入下图) mvn不是内部命令 在winodws中使用各种各样的命令,出现频率

Nginx运行和控制命令

nginx命令行参数 Nginx 仅有几个命令行参数,完全通过配置文件来配置 -c </path/to/config> 为 Nginx 指定一个配置文件,来代替缺省的。 -t 不运行,而仅仅测试配置文件。nginx 将检查配置文件的语法的正确性,并尝试打开配置文件中所引用到的文件。 -v 显示 nginx 的版本。 -V 显示 nginx 的版本,编译器版本和配置参数。   ngi

我记不住的du和sort命令

背景: 最近总想多记下一些东西,以免忘记和遗留,用的时候直接查询自己的博客即可,不用再漫无目的的去搜索和再验证。今天讲一下之前用的很频繁的命令以供大家参考和学习。  1.  du  ---- estimate file space usage 千万注意:  du 展示的是磁盘空间占用量ls 展示的是文件内容的大小  du一共有几个常用的参数 -a            //显示所有文件的

Kafka-核心架构-分区、副本(含副本选举机制)

Kafka概述 Kafka-核心架构-分区 Kafka的分区是将数据在主题(Topic)中逻辑上划分成多个片段的机制。 分区使得数据可以被水平扩展,提高了Kafka的可伸缩性和吞吐量,并允许数据在集群中分布和并行处理。 1.Kafka 分区的作用 (1)数据分布和负载均衡: Kafka通过将数据分割成多个分区并在集群中分布这些分区来实现数据的水平扩展和负载均衡。每个分区可以在集

Java调用linux命令及Shell脚本

Java可以通过Runtime.getRuntime().exec()方法调用linux平台下的命令及Shell脚本。 获取命令执行结果通常有两种,一种是waitfor方法,另一种是exitValue。 但waitfor方法可能造成阻塞,原因如下: 当调用exec方法后,JVM启动一个子进程,该进程会与JVM进程建立3个管道连接,即标准输入流、标准输出流、错误错误流。假

Linux③—远程管理命令、权限及组、用户管理

Linux③—远程管理命令、权限及组、用户管理 <<<CSDN排版问题较差,想看排版好的进Linux③—远程管理命令、权限及组、用户管理>>> 1、远程管理 ①关机/重启 shutdown [option] [time] 关机/重启 shutdown 选项 时间 选项 含义 -r 重新启动 -c 取消目前已经进行中的关机动作 -h 关机后停机 注意: 不指定选项和参数时,默认执行 1分钟之后

Linux 常用查看日志命令

常用查看日志操作语句:   tail web.2016-06-06.log -n 300 -f                       查看底部即最新300条日志记录,并实时刷新 grep 'nick' | tail web.2016-04-04.log -C 10   查看字符‘nick’前后10条日志记录, 大写C   本文介绍Linux下

编程实战:自己编写HTTP服务器(系列5:执行后台shell命令)

初级代码游戏的专栏介绍与文章目录-CSDN博客 我的github:codetoys,所有代码都将会位于ctfc库中。已经放入库中我会指出在库中的位置。 这些代码大部分以Linux为目标但部分代码是纯C++的,可以在任何平台上使用。 系列入口:编程实战:自己编写HTTP服务器(系列1:概述和应答)-CSDN博客          本文介绍执行后台命令的shell.asp的实现。 目录

消息队列( Kafka)

使用场景 日志处理: 大并发量时 ,将日志写入消息队列 消息通讯 点对点消息队列 产品 目前生产环境,使用较多的消息队列有ActiveMQ,RabbitMQ,ZeroMQ,Kafka,MetaMQ,RocketMQ等 **将要介绍的: Kafka** 优势 高吞吐:非常普通的硬件Kafka也可以支持每秒数百万的消息 支持通过Kafka服务器和消费集群来区分消息 支持Hadoop并行数据加载

window有用命令

copy所有文件到 指定的文件中 copy C:\Users\gm\Desktop\测试sql\*.sql C:\Users\gm\Desktop\测试sql\all.sql