仿论坛项目--Kafka,构建TB级异步消息系统

2024-09-06 17:20

本文主要是介绍仿论坛项目--Kafka,构建TB级异步消息系统,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

阻塞队列

• BlockingQueue

  • 解决线程通信的问题。
  • 阻塞方法:put、take。
    • 生产者消费者模式
  • 生产者:产生数据的线程。
  • 消费者:使用数据的线程。
    • 实现类
  • ArrayBlockingQueue
  • LinkedBlockingQueue
  • PriorityBlockingQueue、SynchronousQueue、DelayQueue等。
    在这里插入图片描述

Kafka入门

• Kafka简介

  • Kafka是一个分布式的流媒体平台。
  • 应用:消息系统、日志收集、用户行为追踪、流式处理。
    • Kafka特点
  • 高吞吐量、消息持久化、高可靠性、高扩展性。
    • Kafka术语
  • Broker、Zookeeper
  • Topic、Partition、Offset
  • Leader Replica 、Follower Replica
    在这里插入图片描述启动Kafka
    打开cmd,切换到安装路径E:\work\kafka_2.12-2.2.0
    再输入bin\windows\zookeeper-server-start.bat config\zookeeper.properties

Spring整合Kafka

• 引入依赖

  • spring-kafka
    • 配置Kafka
  • 配置server、consumer
    • 访问Kafka
  • 生产者
    kafkaTemplate.send(topic, data);
  • 消费者
    @KafkaListener(topics = {“test”})
    public void handleMessage(ConsumerRecord record)

发送系统通知

• 触发事件

  • 评论后,发布通知
  • 点赞后,发布通知
  • 关注后,发布通知
    • 处理事件
  • 封装事件对象
  • 开发事件的生产者
  • 开发事件的消费者
    在这里插入图片描述

显示系统通知

• 通知列表

  • 显示评论、点赞、关注三种类型的通知
    • 通知详情
  • 分页显示某一类主题所包含的通知
    • 未读消息
  • 在页面头部显示所有的未读消息数量

下列选项中,关于阻塞队列说法错误的是():

阻塞队列用于解决线程同步的问题。
阻塞队列的接口为BlockingQueue,该接口有ArrayBlockingQueue、LinkedBlockingQueue等多个实现类。
阻塞队列包含put方法,用于向队列中存入数据,当队列已满时,该方法将堵塞
阻塞队列包含take方法,用于从队列中获取数据,当队列已空时,该方法将堵塞

阻塞队列是一种特殊的队列,它能够解决多线程环境下的同步问题。
BlockingQueue 是 Java 中提供的一个接口,它定义了阻塞队列的基本操作,包括 put 方法和 take 方法等。
当使用 put 方法向队列中添加元素时,如果队列已经满了,则会阻塞当前线程直到其他线程消费掉一些元素或者等待一定时间后抛出异常。
同样地,当使用 take 方法从队列中取出元素时,如果队列为空,则也会阻塞当前线程直到其他线程生产新元素或者等待一定时间后抛出异常。

关于生产者与消费者模式,下列说法错误的是():

生产者线程,是负责产生数据的线程
消费者线程,是负责使用数据的线程
阻塞队列在生产者与消费者之间建立了缓冲,提高了系统的性能
生产者线程调用take方法,消费者线程调用put方法

“生产者线程,是负责产生数据的线程” — 这个描述是正确的,生产者通常是指创建或生成数据的角色。
“消费者线程,是负责使用数据的线程” — 这个描述也是正确的,消费者指的是消耗或使用由生产者产生的数据的角色。
“阻塞队列在生产者与消费者之间建立了缓冲,提高了系统的性能” — 这个描述同样正确,阻塞队列作为共享内存的一部分,可以在生产者和消费者之间建立缓冲区,从而提高系统性能。
“生产者线程调用take方法,消费者线程调用put方法” — 这个描述是错误的。实际上,生产者应该调用put方法来放入数据,而消费者则调用take方法来取走数据。

关于Kafka的特点,下列说法错误的是()

选项:o Kafka是一个分布式的流媒体平台。
o Kafka可以应用于消息系统、日志收集、用户行为追踪、流式处理等多种场景
o Kafka具有高吞吐量、消息持久化、高可靠性、高扩展性等优点
o Kafka采用硬盘持久化消息,所以性能比其他消息队列略低

Kafka是一个分布式的流媒体平台:这是正确的,Kafka是一个分布式的消息发布订阅平台,常用于构建实时的数据管道,以可靠地在应用程序之间传递数据。
Kafka可以应用于消息系统、日志收集、用户行为追踪、流式处理等多种场景:这也是正确的,Kafka由于其高性能和可扩展性,适用于多种应用场景,包括但不限于消息系统、日志收集、用户行为追踪和流式处理。
Kafka具有高吞吐量、消息持久化、高可靠性、高扩展性等优点:这是正确的,Kafka的设计目标之一就是提供高吞吐量、消息持久化、高可用性和可扩展性的特性。
Kafka采用硬盘持久化消息,所以性能比其他消息队列略低:这部分描述是错误的。虽然Kafka确实将消息存储在磁盘上进行持久化,但这并不意味着它的性能就低于其他消息队列。实际上,Kafka通过使用高效的数据结构和磁盘管理技术,能够在保持消息持久化的同时提供非常高的性能。因此,将消息持久化到磁盘并不一定会降低其性能表现。

这篇关于仿论坛项目--Kafka,构建TB级异步消息系统的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1142637

相关文章

SpringBoot项目配置logback-spring.xml屏蔽特定路径的日志

《SpringBoot项目配置logback-spring.xml屏蔽特定路径的日志》在SpringBoot项目中,使用logback-spring.xml配置屏蔽特定路径的日志有两种常用方式,文中的... 目录方案一:基础配置(直接关闭目标路径日志)方案二:结合 Spring Profile 按环境屏蔽关

基于Python实现一个简单的题库与在线考试系统

《基于Python实现一个简单的题库与在线考试系统》在当今信息化教育时代,在线学习与考试系统已成为教育技术领域的重要组成部分,本文就来介绍一下如何使用Python和PyQt5框架开发一个名为白泽题库系... 目录概述功能特点界面展示系统架构设计类结构图Excel题库填写格式模板题库题目填写格式表核心数据结构

基于Python构建一个高效词汇表

《基于Python构建一个高效词汇表》在自然语言处理(NLP)领域,构建高效的词汇表是文本预处理的关键步骤,本文将解析一个使用Python实现的n-gram词频统计工具,感兴趣的可以了解下... 目录一、项目背景与目标1.1 技术需求1.2 核心技术栈二、核心代码解析2.1 数据处理函数2.2 数据处理流程

Linux系统中的firewall-offline-cmd详解(收藏版)

《Linux系统中的firewall-offline-cmd详解(收藏版)》firewall-offline-cmd是firewalld的一个命令行工具,专门设计用于在没有运行firewalld服务的... 目录主要用途基本语法选项1. 状态管理2. 区域管理3. 服务管理4. 端口管理5. ICMP 阻断

MySQL版本问题导致项目无法启动问题的解决方案

《MySQL版本问题导致项目无法启动问题的解决方案》本文记录了一次因MySQL版本不一致导致项目启动失败的经历,详细解析了连接错误的原因,并提供了两种解决方案:调整连接字符串禁用SSL或统一MySQL... 目录本地项目启动报错报错原因:解决方案第一个:第二种:容器启动mysql的坑两种修改时区的方法:本地

Python FastMCP构建MCP服务端与客户端的详细步骤

《PythonFastMCP构建MCP服务端与客户端的详细步骤》MCP(Multi-ClientProtocol)是一种用于构建可扩展服务的通信协议框架,本文将使用FastMCP搭建一个支持St... 目录简介环境准备服务端实现(server.py)客户端实现(client.py)运行效果扩展方向常见问题结

详解如何使用Python构建从数据到文档的自动化工作流

《详解如何使用Python构建从数据到文档的自动化工作流》这篇文章将通过真实工作场景拆解,为大家展示如何用Python构建自动化工作流,让工具代替人力完成这些数字苦力活,感兴趣的小伙伴可以跟随小编一起... 目录一、Excel处理:从数据搬运工到智能分析师二、PDF处理:文档工厂的智能生产线三、邮件自动化:

springboot项目中使用JOSN解析库的方法

《springboot项目中使用JOSN解析库的方法》JSON,全程是JavaScriptObjectNotation,是一种轻量级的数据交换格式,本文给大家介绍springboot项目中使用JOSN... 目录一、jsON解析简介二、Spring Boot项目中使用JSON解析1、pom.XML文件引入依

使用vscode搭建pywebview集成vue项目实践

《使用vscode搭建pywebview集成vue项目实践》:本文主要介绍使用vscode搭建pywebview集成vue项目实践,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地... 目录环境准备项目源码下载项目说明调试与生成可执行文件核心代码说明总结本节我们使用pythonpywebv

Windows 系统下 Nginx 的配置步骤详解

《Windows系统下Nginx的配置步骤详解》Nginx是一款功能强大的软件,在互联网领域有广泛应用,简单来说,它就像一个聪明的交通指挥员,能让网站运行得更高效、更稳定,:本文主要介绍W... 目录一、为什么要用 Nginx二、Windows 系统下 Nginx 的配置步骤1. 下载 Nginx2. 解压