Kafka 学习笔记(二)--- topic命令行操作

2024-08-20 16:32

本文主要是介绍Kafka 学习笔记(二)--- topic命令行操作,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

上一篇介绍了kafka的特点,这篇来记录kafka的主要工作方式: 1.创建Topic, 2. 生产者生产  3.消费者消费

首先 创建 一个 test topic, 命令如下:

./kafka-topics.sh --zookeeper 172.28.201.217:2181 --create --topic test --replication-factor 2 --partitions 3

这里有两个参数需要注意:

replication-factor: 副本因子, 说明topic的每个分区分别有两个副本

partitions: 分区数, 说明 该topic有三个分区

然后 生产者, 利用 命令行来向topic中生产数据:

./kafka-console-producer.sh --broker-list 172.28.201.211:9092,172.28.201.212:9092,172.28.201.213:9092 --topic test --producer.config ../config/producer.properties

 输入数据

然后 消费者, 利用 命令行来消费topic中数据:

./kafka-console-consumer.sh --zookeeper 172.24.201.212:2181 --topic test --new-consumer --from-beginning --consumer.config ../config/consumer.properties

结果如下

 

除此外 调试常用的命令行还有

查看 集群里的topic详情
./bin/kafka-topics.sh --zookeeper 10.95.26.27:2181 --describe只是列出所有主题名字
./bin/kafka-topics.sh --zookeeper 10.95.26.27:2181 --list给集群中test主题增加分区数到16
./bin/kafka-topics.sh --zookeeper 10.95.26.27:2181 --alert --topic test --partitions 16删除某个主题
./bin/kafka-topics.sh --zookeeper 10.95.26.27:2181 --delete --topic test查看某个消费群组的消费情况
./kafka-consumer-groups.sh --new-consumer --bootstrap-server 172.16.17.12:9092 --command-config ../config/consumer.properties --describe --group groupid

另外 kafka consumer 命令行消费时,加 --from-beginning  会消费历史数据,如果不加则会消费新进入的数据

这篇关于Kafka 学习笔记(二)--- topic命令行操作的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1090584

相关文章

Java实现在Word文档中添加文本水印和图片水印的操作指南

《Java实现在Word文档中添加文本水印和图片水印的操作指南》在当今数字时代,文档的自动化处理与安全防护变得尤为重要,无论是为了保护版权、推广品牌,还是为了在文档中加入特定的标识,为Word文档添加... 目录引言Spire.Doc for Java:高效Word文档处理的利器代码实战:使用Java为Wo

sysmain服务可以禁用吗? 电脑sysmain服务关闭后的影响与操作指南

《sysmain服务可以禁用吗?电脑sysmain服务关闭后的影响与操作指南》在Windows系统中,SysMain服务(原名Superfetch)作为一个旨在提升系统性能的关键组件,一直备受用户关... 在使用 Windows 系统时,有时候真有点像在「开盲盒」。全新安装系统后的「默认设置」,往往并不尽编

Java Kafka消费者实现过程

《JavaKafka消费者实现过程》Kafka消费者通过KafkaConsumer类实现,核心机制包括偏移量管理、消费者组协调、批量拉取消息及多线程处理,手动提交offset确保数据可靠性,自动提交... 目录基础KafkaConsumer类分析关键代码与核心算法2.1 订阅与分区分配2.2 拉取消息2.3

Python自动化处理PDF文档的操作完整指南

《Python自动化处理PDF文档的操作完整指南》在办公自动化中,PDF文档处理是一项常见需求,本文将介绍如何使用Python实现PDF文档的自动化处理,感兴趣的小伙伴可以跟随小编一起学习一下... 目录使用pymupdf读写PDF文件基本概念安装pymupdf提取文本内容提取图像添加水印使用pdfplum

Python从Word文档中提取图片并生成PPT的操作代码

《Python从Word文档中提取图片并生成PPT的操作代码》在日常办公场景中,我们经常需要从Word文档中提取图片,并将这些图片整理到PowerPoint幻灯片中,手动完成这一任务既耗时又容易出错,... 目录引言背景与需求解决方案概述代码解析代码核心逻辑说明总结引言在日常办公场景中,我们经常需要从 W

使用Python的requests库来发送HTTP请求的操作指南

《使用Python的requests库来发送HTTP请求的操作指南》使用Python的requests库发送HTTP请求是非常简单和直观的,requests库提供了丰富的API,可以发送各种类型的HT... 目录前言1. 安装 requests 库2. 发送 GET 请求3. 发送 POST 请求4. 发送

Python利用PySpark和Kafka实现流处理引擎构建指南

《Python利用PySpark和Kafka实现流处理引擎构建指南》本文将深入解剖基于Python的实时处理黄金组合:Kafka(分布式消息队列)与PySpark(分布式计算引擎)的化学反应,并构建一... 目录引言:数据洪流时代的生存法则第一章 Kafka:数据世界的中央神经系统消息引擎核心设计哲学高吞吐

Unity新手入门学习殿堂级知识详细讲解(图文)

《Unity新手入门学习殿堂级知识详细讲解(图文)》Unity是一款跨平台游戏引擎,支持2D/3D及VR/AR开发,核心功能模块包括图形、音频、物理等,通过可视化编辑器与脚本扩展实现开发,项目结构含A... 目录入门概述什么是 UnityUnity引擎基础认知编辑器核心操作Unity 编辑器项目模式分类工程

Python使用python-pptx自动化操作和生成PPT

《Python使用python-pptx自动化操作和生成PPT》这篇文章主要为大家详细介绍了如何使用python-pptx库实现PPT自动化,并提供实用的代码示例和应用场景,感兴趣的小伙伴可以跟随小编... 目录使用python-pptx操作PPT文档安装python-pptx基础概念创建新的PPT文档查看

MySQL 数据库表操作完全指南:创建、读取、更新与删除实战

《MySQL数据库表操作完全指南:创建、读取、更新与删除实战》本文系统讲解MySQL表的增删查改(CURD)操作,涵盖创建、更新、查询、删除及插入查询结果,也是贯穿各类项目开发全流程的基础数据交互原... 目录mysql系列前言一、Create(创建)并插入数据1.1 单行数据 + 全列插入1.2 多行数据