如何通过Python实现一个消息队列

2025-02-21 17:50
文章标签 python 实现 队列 消息

本文主要是介绍如何通过Python实现一个消息队列，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

《如何通过Python实现一个消息队列》这篇文章主要为大家详细介绍了如何通过Python实现一个简单的消息队列,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下...

什么是消息队列，以及使用消js息队列的好处这些基础知识，这里就不再赘述，本文重点讲一讲如何用 python 实现一个消息队列。

要用 Python 实现一个消息队列，你可以使用内置的 queue 模块来创建一个简单的队列，或者使用第三方库如 RabbitMQ、Redis 或者 Kafka 来实现更复杂的分布式消息队列。

如何通过 python 实现消息队列

1. 使用 Python 内置的 queue.Queue（适用于单机应用）

queue.Queue 提供了线程安全的队列操作，适合在多线程应用中使用。

import queue
import threading
import time

# 创建一个先进先出（FIFO）队列
msg_queue = queue.Queue()

# 生产者线程
def producer():
    for i in range(5):
        time.sleep(1)  # 模拟一些处理
        msg = f"消息{i}"
        msg_queue.put(msg)  # 将消息放入队列
        print(f"生产者放入：{msg}")

# 消费者线程
def consumer():
    while True:
        msg = msg_queue.get()  # 从队列获取消息
        if msg is None:  # 终止条件
            break
        print(f"消费者处理：{msg}")
        msg_queue.task_done()  # 标记任务已完成

# 创建生产者和消费者线程
producer_thread = threading.Thread(target=producer)
consumer_thread = threading.Thread(target=consumer)

# 启动线程
producer_thread.start()
consumer_thread.start()

# 等待生产者线程完成
producer_thread.join()

# 向消费者线程发送终止信号
msg_queue.put(None)

# 等待消费者线程完成
consumer_thread.join()

2. 使用 Redis（适用于分布式应用）

Redis 是一个高效的内存数据存储，可以用作分布式消息队列。你可以使用 redis-py 库与 Redis 进行交互。

pip install redis

import redis
import time

# 创建 Redis 连接
r = redis.StrictRedis(host='localhost', port=6379, db=0)

# 生产者：将消息放入队列
def producer():
    for i in range(5):
        time.sleep(1)  # 模拟一些处理
        msg = f"消息{i}"
        r.lpush('msg_queue', msg)  # 将消息推送到队列
        print(f"生产者放入：{msg}")

# 消费者：从队列中获取消息
def consumer():
    while True:
        msg = r.brpop('msg_queue')[1].decode('utf-8')  # 从队列中获取消息
        print(f"消费者处理：{msg}")

# 启动生产者和消费者
producer()
consumer()

3. 使用 RabbitMQ（适用于更复杂的消息传递）

RabbitMQ 是一个强大的消息代理系统，支持多种消息队列模式。如果需要高度可靠和高性能的消息队列，可以使用 pika 库连接 RabbitMQ。

pip install pika

import pika

# 连接到 RabbitMQ
connection = pika.blockingConnection(pika.ConnectionParameters('localhost'))
channel = connection.channel()

# 声明一个队列
channel.queue_declare(queue='msg_queue')

# 生产者：发送消息
def producer():
    for i in range(5):
        msg = f"消息{i}"
        channel.basic_publish(exchange='',
                              routing_key='msg_queue',
                              body=msg)
        print(f"生产者发送：{msg}")

# 消费者：接收并处理消息
def consumer(ch, method, properties, body):
   China编程 print(f"消费者处理：{body.decode('utf-8')}")

# 启动消费者
channel.basic_consume(queue='msg_queue', on_message_callback=consumer, auto_ack=True)

# 启动生产者和消费者
producer()
print('等待消息...')
channel.start_consuming()

选择合适的实现

  • 如果你是单机应用并且需要线程安全的队列，使用 queue.Queue。
  • 如果你的应用是分布式的，使用 Redis 或 RabbitMQ 更加合适，它们提供了高可用性、消息持久化和可靠的消息传递机制。

如何把 http 请求放在队列中执行

将 HTTP 请求放入队列并异步执行的场景通常用于处理高并发、后台任务、延迟任务等情况。你可以使用消息队列系统（如 queue.Queue、Redis 或 RabbitMQ）来将 HTTP 请求放入队列，消费队列中的任务并执行相应的 HTTP 请求。

这里我会展示几种不同的实现方式，供你参考。

1. 使用 queue.Queue 和 requests 库

你可以将 HTTP 请求封装为任务，并将其放入队列中，然后使用多个消费者线程异步处理队列中的请求。

import queue
import threading
import time
import requests

# 创建一个队列
task_queue = queue.Queue()

# HTTP 请求任务处理函数
def handle_request():
    while True:
        url = task_queue.get()  # 从队列中获取任务
        if url is None:  # 终止条件
            break
        try:
            response = requests.get(url)
            print(f"请求 {url} 的响应状态: {response.status_code}")
        except Exception as e:
            print(f"请求 {url} 失败: {e}")
        task_queue.task_done()  # 标记任务完成

# 生产者：将 HTTP 请求放入队列
def producer():
    urls = [
        "https://jsonplaceholder.typicode.com/posts/1",
        "https://jsonplaceholder.typicode.com/posts/2",
        "https://jsonplaceholder.typicode.com/posts/3"
    ]
    
    for url in urls:
        print(f"将 URL {url} 放入队列")
        task_queue.put(url)
        time.sleep(1)  # 模拟任务产生的延迟

# 创建多个消费者线程
consumer_threads = []
for i in range(3):
    t = threading.Thread(target=handle_request)
    t.start()
    consumer_threads.append(t)

# 启动生产者线程
producer_thread = threading.Thread(target=producer)
producer_thread.start()

# 等待生产者线程完成
producer_thread.join()

# 向消费者线程发送终止信号
for _ in range(3):
    task_queue.put(None)

# 等待消费者线程完成
for t in consumer_threads:
    t.join()

2. 使用 Redis 和 requests 库

Redis 可以作为一个分布式的消息队列，适用于分布式系统中将 HTTP 请求放入队列并异步执行。你可以使用 Redis 的列表数据结构（lpush、brpop）来实现。

import redis
import requests
import time

# 创建 Redis 连接
r = redis.StrictRedis(host='localhost', port=6379, db=0)

# 生产者：将 HTTP 请求放入队列
def producer():
    urls = [
        "https://jsonplaceholder.typicode.com/posts/1",
        "https://jsonplaceholder.typicode.com/posts/2",
        "https://jsonplaceholder.typicode.com/posts/3"
    ]
    
    for url in urls:
        print(f"将 URL {url} 放入 Redis 队列")
        r.lpush('task_queue', url)
        time.sleep(1)  # 模拟任务产生的延迟

# 消费者：从队列中获取请求并执行
def consumer():
    while True:
        url = r.brpop('task_queue')[1].decode('utf-8')  # 从队列中获取任务
        try:
            response = requests.get(url)
            print(f"请求 {url} 的响应状态: {response.status_code}")
        except Exception as e:
            print(f"请求 {url} 失败: {e}")

# 启动生产者和消费者
producer_thread = threading.Thread(target=producer)
consumer_thread = threading.Thread(target=consumer)

producer_thread.start()
consumer_thread.start()

# 等待生产者线程完成
producer_thread.join()

# 由于 Redis 队列会一直阻塞等待任务，可以根据需要添加退出逻辑

3. 使用&nbandroidsp;RabbitMQ 和 requests 库

RabbitMQ 提供了强大的消息队列机制，适合用于大规模的消息传递。你可以创建一个任务队列，将 HTTP 请求放入队列中，并通过消费者处理队列中的请求。

import pika
import requests
import time

# 连接到 RabbitMQ
connection = pika.BlockingConnection(pika.ConnectionParameters('localhost'))
channel = connection.channel()

# 声明队列
channel.queue_declare(queue='http_requests')

# 生产者：将 HTTP 请求放入队列
def producer():
    urls = [
        "https://jsonplaceholder.typicode.com/posts/1",
        "https://jsonplaceholder.typicode.com/posts/2",
        "https://jsonplaceholder.typicode.com/posts/3"
    ]
    
    for url in urls:
        print(f"将 URL {url} 放入 RabbitMQ 队列")
        channel.basic_publish(exchange='',
                              routing_key='http_requests',
                              body=url)
        time.sleep(1)  # 模拟任务产生的延迟

# 消费者：处理 HTTP 请求
def consumer(ch, method, properties, body):
    url = body.decode('utf-8')
    try:
        response = requests.get(ujsrl)
        print(f"请求 {url} 的响应状态: {response.status_code}")
    except Exception as e:
        print(f"请求 {url} 失败: {e}")

# 启动消费者
channel.basic_consume(queue='http_requests', on_message_callback=consumer, auto_ack=True)

# 启动生产者
producer_thread = threading.Thread(target=producer)
producer_thread.start()

# 启动消费者并等待消息
print('等待消费者处理 HTTP 请求...')
producer_thread.join()
channel.start_consuming()

4. 使用 Celery 异步任务队列

Celery 是一个强大的异步任务队列，适用于分布式任务执行。通过 Celery，你可以把 HTTP 请求封装为任务，放入队列中进行异步执行。

首先，你需要安装 Celery 和 requests：

pip install celery requests

然后在 celery.py 中配置 Celery：

from celery import Celery
import requests

app = Celery('http_requests', broker='redis://localhost:6379/0')

@app.task
def fetch_url(url):
    try:
        responseChina编程 = requests.get(url)
        print(f"请求 {url} 的响应状态: {response.status_code}")
    except Exception as e:
        print(f"请求 {url} 失败: {e}")

然后在主程序中提交任务：

from celery import Celery
from celery.py import fetch_url

# 添加任务到队列
fetch_url.apply_async(args=["https://jsonplaceholder.typicode.com/posts/1"])
fetch_url.apply_async(args=["https://jsonplaceholder.typicode.com/posts/2"])
fetch_url.apply_async(args=["https://jsonplaceholder.typicode.com/posts/3"])

启动 Celery Worker：

celery -A celery worker --loglevel=info

总结

  • queue.Queue：适用于单机和多线程环境，可以通过队列异步执行 HTTP 请求。
  • Redis：适用于分布式环境，将 HTTP 请求放入 Redis 队列，多个消费者异步执行。
  • RabbitMQ：适合高并发任务和消息传递的分布式环境，使用队列来管理 HTTP 请求。
  • Celery：适用于大规模异步任务队列的场景，可以使用 Redis 或其他消息中间件作为代理。

以上就是如何通过Python实现一个消息队列的详细内容，更多关于Python消息队列的资料请关注编程China编程(www.chinasem.cn)其它相关文章！

这篇关于如何通过Python实现一个消息队列的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1153485。

相关文章

Java实现字节字符转bcd编码

Java实现字节字符转bcd编码

《Java实现字节字符转bcd编码》BCD是一种将十进制数字编码为二进制的表示方式,常用于数字显示和存储,本文将介绍如何在Java中实现字节字符转BCD码的过程,需要的小伙伴可以了解下... 目录前言BCD码是什么Java实现字节转bcd编码方法补充总结前言BCD码（Binary-Coded Decima
阅读更多...
python获取指定名字的程序的文件路径的两种方法

python获取指定名字的程序的文件路径的两种方法

《python获取指定名字的程序的文件路径的两种方法》本文主要介绍了python获取指定名字的程序的文件路径的两种方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要... 最近在做项目，需要用到给定一个程序名字就可以自动获取到这个程序在Windows系统下的绝对路径，以下
阅读更多...
SpringBoot全局域名替换的实现

SpringBoot全局域名替换的实现

《SpringBoot全局域名替换的实现》本文主要介绍了SpringBoot全局域名替换的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一... 目录 项目结构⚙️ 配置文件application.yml️ 配置类AppProperties.Ja
阅读更多...
使用Python批量将.ncm格式的音频文件转换为.mp3格式的实战详解

使用Python批量将.ncm格式的音频文件转换为.mp3格式的实战详解

《使用Python批量将.ncm格式的音频文件转换为.mp3格式的实战详解》本文详细介绍了如何使用Python通过ncmdump工具批量将.ncm音频转换为.mp3的步骤,包括安装、配置ffmpeg环... 目录1. 前言2. 安装 ncmdump3. 实现 .ncm 转 .mp34. 执行过程5. 执行结
阅读更多...
Python实现批量CSV转Excel的高性能处理方案

Python实现批量CSV转Excel的高性能处理方案

《Python实现批量CSV转Excel的高性能处理方案》在日常办公中,我们经常需要将CSV格式的数据转换为Excel文件,本文将介绍一个基于Python的高性能解决方案,感兴趣的小伙伴可以跟随小编一... 目录一、场景需求二、技术方案三、核心代码四、批量处理方案五、性能优化六、使用示例完整代码七、小结一、
阅读更多...
Python中 try / except / else / finally 异常处理方法详解

Python中 try / except / else / finally 异常处理方法详解

《Python中try/except/else/finally异常处理方法详解》：本文主要介绍Python中try/except/else/finally异常处理方法的相关资料,涵... 目录1. 基本结构2. 各部分的作用tryexceptelsefinally3. 执行流程总结4. 常见用法（1）多个e
阅读更多...
Java实现将HTML文件与字符串转换为图片

Java实现将HTML文件与字符串转换为图片

《Java实现将HTML文件与字符串转换为图片》在Java开发中,我们经常会遇到将HTML内容转换为图片的需求,本文小编就来和大家详细讲讲如何使用FreeSpire.DocforJava库来实现这一功... 目录前言核心实现：html 转图片完整代码场景 1：转换本地 HTML 文件为图片场景 2：转换 H
阅读更多...
C#使用Spire.Doc for .NET实现HTML转Word的高效方案

C#使用Spire.Doc for .NET实现HTML转Word的高效方案

《C#使用Spire.Docfor.NET实现HTML转Word的高效方案》在Web开发中,HTML内容的生成与处理是高频需求,然而,当用户需要将HTML页面或动态生成的HTML字符串转换为Wor... 目录引言一、html转Word的典型场景与挑战二、用 Spire.Doc 实现 HTML 转 Word1
阅读更多...
C#实现一键批量合并PDF文档

C#实现一键批量合并PDF文档

《C#实现一键批量合并PDF文档》这篇文章主要为大家详细介绍了如何使用C#实现一键批量合并PDF文档功能,文中的示例代码简洁易懂,感兴趣的小伙伴可以跟随小编一起学习一下... 目录前言效果展示功能实现1、添加文件2、文件分组（书签）3、定义页码范围4、自定义显示5、定义页面尺寸6、PDF批量合并7、其他方法
阅读更多...
SpringBoot实现不同接口指定上传文件大小的具体步骤

SpringBoot实现不同接口指定上传文件大小的具体步骤

《SpringBoot实现不同接口指定上传文件大小的具体步骤》：本文主要介绍在SpringBoot中通过自定义注解、AOP拦截和配置文件实现不同接口上传文件大小限制的方法,强调需设置全局阈值远大于... 目录一  springboot实现不同接口指定文件大小1.1 思路说明1.2 工程启动说明二 具体实施2
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2