Kafka 学习笔记(二)--- topic命令行操作

2024-08-20 16:32

本文主要是介绍Kafka 学习笔记(二)--- topic命令行操作,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

上一篇介绍了kafka的特点,这篇来记录kafka的主要工作方式: 1.创建Topic, 2. 生产者生产  3.消费者消费

首先 创建 一个 test topic, 命令如下:

./kafka-topics.sh --zookeeper 172.28.201.217:2181 --create --topic test --replication-factor 2 --partitions 3

这里有两个参数需要注意:

replication-factor: 副本因子, 说明topic的每个分区分别有两个副本

partitions: 分区数, 说明 该topic有三个分区

然后 生产者, 利用 命令行来向topic中生产数据:

./kafka-console-producer.sh --broker-list 172.28.201.211:9092,172.28.201.212:9092,172.28.201.213:9092 --topic test --producer.config ../config/producer.properties

 输入数据

然后 消费者, 利用 命令行来消费topic中数据:

./kafka-console-consumer.sh --zookeeper 172.24.201.212:2181 --topic test --new-consumer --from-beginning --consumer.config ../config/consumer.properties

结果如下

 

除此外 调试常用的命令行还有

查看 集群里的topic详情
./bin/kafka-topics.sh --zookeeper 10.95.26.27:2181 --describe只是列出所有主题名字
./bin/kafka-topics.sh --zookeeper 10.95.26.27:2181 --list给集群中test主题增加分区数到16
./bin/kafka-topics.sh --zookeeper 10.95.26.27:2181 --alert --topic test --partitions 16删除某个主题
./bin/kafka-topics.sh --zookeeper 10.95.26.27:2181 --delete --topic test查看某个消费群组的消费情况
./kafka-consumer-groups.sh --new-consumer --bootstrap-server 172.16.17.12:9092 --command-config ../config/consumer.properties --describe --group groupid

另外 kafka consumer 命令行消费时,加 --from-beginning  会消费历史数据,如果不加则会消费新进入的数据

这篇关于Kafka 学习笔记(二)--- topic命令行操作的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1090584

相关文章

使用Java填充Word模板的操作指南

《使用Java填充Word模板的操作指南》本文介绍了Java填充Word模板的实现方法,包括文本、列表和复选框的填充,首先通过Word域功能设置模板变量,然后使用poi-tl、aspose-words... 目录前言一、设置word模板普通字段列表字段复选框二、代码1. 引入POM2. 模板放入项目3.代码

利用Python操作Word文档页码的实际应用

《利用Python操作Word文档页码的实际应用》在撰写长篇文档时,经常需要将文档分成多个节,每个节都需要单独的页码,下面:本文主要介绍利用Python操作Word文档页码的相关资料,文中通过代码... 目录需求:文档详情:要求:该程序的功能是:总结需求:一次性处理24个文档的页码。文档详情:1、每个

Python内存管理机制之垃圾回收与引用计数操作全过程

《Python内存管理机制之垃圾回收与引用计数操作全过程》SQLAlchemy是Python中最流行的ORM(对象关系映射)框架之一,它提供了高效且灵活的数据库操作方式,本文将介绍如何使用SQLAlc... 目录安装核心概念连接数据库定义数据模型创建数据库表基本CRUD操作创建数据读取数据更新数据删除数据查

Go语言中json操作的实现

《Go语言中json操作的实现》本文主要介绍了Go语言中的json操作的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧... 目录 一、jsOChina编程N 与 Go 类型对应关系️ 二、基本操作:编码与解码 三、结构体标签(Struc

Java 字符串操作之contains 和 substring 方法最佳实践与常见问题

《Java字符串操作之contains和substring方法最佳实践与常见问题》本文给大家详细介绍Java字符串操作之contains和substring方法最佳实践与常见问题,本文结合实例... 目录一、contains 方法详解1. 方法定义与语法2. 底层实现原理3. 使用示例4. 注意事项二、su

Java Stream流与使用操作指南

《JavaStream流与使用操作指南》Stream不是数据结构,而是一种高级的数据处理工具,允许你以声明式的方式处理数据集合,类似于SQL语句操作数据库,本文给大家介绍JavaStream流与使用... 目录一、什么是stream流二、创建stream流1.单列集合创建stream流2.双列集合创建str

Python正则表达式匹配和替换的操作指南

《Python正则表达式匹配和替换的操作指南》正则表达式是处理文本的强大工具,Python通过re模块提供了完整的正则表达式功能,本文将通过代码示例详细介绍Python中的正则匹配和替换操作,需要的朋... 目录基础语法导入re模块基本元字符常用匹配方法1. re.match() - 从字符串开头匹配2.

Java实现在Word文档中添加文本水印和图片水印的操作指南

《Java实现在Word文档中添加文本水印和图片水印的操作指南》在当今数字时代,文档的自动化处理与安全防护变得尤为重要,无论是为了保护版权、推广品牌,还是为了在文档中加入特定的标识,为Word文档添加... 目录引言Spire.Doc for Java:高效Word文档处理的利器代码实战:使用Java为Wo

sysmain服务可以禁用吗? 电脑sysmain服务关闭后的影响与操作指南

《sysmain服务可以禁用吗?电脑sysmain服务关闭后的影响与操作指南》在Windows系统中,SysMain服务(原名Superfetch)作为一个旨在提升系统性能的关键组件,一直备受用户关... 在使用 Windows 系统时,有时候真有点像在「开盲盒」。全新安装系统后的「默认设置」,往往并不尽编

Java Kafka消费者实现过程

《JavaKafka消费者实现过程》Kafka消费者通过KafkaConsumer类实现,核心机制包括偏移量管理、消费者组协调、批量拉取消息及多线程处理,手动提交offset确保数据可靠性,自动提交... 目录基础KafkaConsumer类分析关键代码与核心算法2.1 订阅与分区分配2.2 拉取消息2.3