首页
Python
Java
前端
数据库
Linux
Chatgpt专题
开发者工具箱
kafak专题
kafak集群搭建-基于zookeeper方式
kafak集群搭建-基于zookeeper方式 1、准备3个kafka2、修改配置文件2.1、修改配置文件 3、启动测试3.1、先启动zookeeper3.2、再启动三台kafka 4、SpringBoot集成kafka集群4.1、项目配置文件application.yml4.2、kafka配置类4.3、启动SpringBoot程序 5、kafka集群架构分析6、查看topic详情7、kaf
阅读更多...
Kafak 消费异常:The coordinator is not available.
Kafak 消费异常:The coordinator is not available. 1. 问题描述2. 问题排查2.1 Topic 状态异常2.2 `__consumer_offsets` 简介 1. 问题描述 在新环境部署 Kafak 时,发现可以正常产生消息,但是无法正常消费消息,消费消息的异常日志如下: 11:59:53.315 [main] DEBUG org.
阅读更多...
Kafak简单使用
Concept 待后续填坑…Push Data from kafka import KafkaProducerimport jsondef push_kafka(sqlstring, valuelist):# logging.info("kafka string ----- [%s]" % (sqlstring % valuelist))producer = KafkaProducer(boo
阅读更多...
Kafak详解(1)
简介 消息队列 为什么要有消息队列 图-1 消息队列的使用 消息队列 1)消息Message:网络中的两台计算机或者两个通讯设备之间传递的数据。例如说:文本、音乐、视频等内容。 2)队列Queue:一种特殊的线性表(数据元素首尾相接),特殊之处在于只允许在首部删除元素和在尾部追加元素(FIFO)。入队、出队。 3)消息队列MQ:消息+队列,保存消息的队列。消息的传输过程中的容器;
阅读更多...
kafak汇总
在Python中使用Kafka消费者,您可以通过配置auto.offset.reset参数来控制消费的起始位置。这个参数决定了当一个新的消费者加入一个消费者组时,它从哪里开始消费消息。 Kafka提供了三个主要的选项来配置auto.offset.reset参数: earliest: 消费者会从最早的可用消息开始消费。即使在消费者加入消费者组之后,也会从最早的消息开始。 latest: 消费
阅读更多...