aws SQS 工作原理

2023-12-21 04:38
文章标签 工作 原理 aws sqs

本文主要是介绍aws SQS 工作原理,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

亚马逊SQS的基本架构

分布式队列

分布式消息系统有三个主要部分:你的分布式系统的组件,你的队列(分布在Amazon SQS服务器上),以及队列中的消息。
在下面的场景中,你的系统有几个生产者(向队列发送消息的组件)和消费者(从队列接收消息的组件)。队列(持有消息A到E)在多个Amazon SQS服务器上冗余地存储消息。
在这里插入图片描述

信息生命周期

以下场景描述了Amazon SQS消息在队列中的生命周期,从创建到删除。
在这里插入图片描述

一个生产者(组件1)将消息A发送到一个队列,消息被冗余地分布在Amazon SQS服务器上。
当消费者(组件2)准备好处理消息时,它从队列中消费消息,然后消息A被返回。当消息A被处理时,它仍然在队列中,在可见性超时的时间内不会返回给后续的接收请求。
消费者(组件2)从队列中删除消息A,以防止在可见性超时结束时再次接收和处理该消息。
注意事项
Amazon SQS会自动删除在队列中超过最大消息保留期的消息。默认的消息保留期是4天。然而,您可以使用SetQueueAttributes动作将消息保留期设置为60秒到1,209,600秒(14天)的数值。

亚马逊SQS标准队列

亚马逊SQS提供标准作为默认队列类型。标准队列支持每秒钟对每个API动作(SendMessage、ReceiveMessage或DeleteMessage)的API调用次数几乎没有限制。标准队列支持至少一次的消息传递。然而,偶尔(由于高度分布式架构允许几乎无限的吞吐量),一个消息的多个副本可能会不按顺序交付。标准队列提供了尽力而为的排序,这确保了消息通常是按照它们被发送的相同顺序交付。
有关如何使用Amazon SQS控制台创建和配置队列的信息,请参阅创建Amazon SQS队列(控制台)。关于Java例子,请看Amazon SQS Java SDK例子。
你可以在许多情况下使用标准的消息队列,只要你的应用程序能够处理不止一次到达的消息,并且不按顺序,例如:
1.将实时用户请求与密集的后台工作解耦 - 让用户在上传媒体的同时调整其大小或进行编码。
2.将任务分配给多个工作节点 - 处理大量的信用卡验证请求。
3.批量信息以便将来处理 - 安排多个条目添加到数据库。

消息排序

标准队列会尽最大努力保持消息的顺序,但一份以上的消息可能会不按顺序传递。如果你的系统要求保留顺序,我们建议使用先进先出(FIFO)队列或在每个消息中添加排序信息,这样你就可以在收到消息时重新排序。

最少一次的交付

Amazon SQS在多个服务器上存储您的消息副本,以实现冗余和高可用性。在少数情况下,当您收到或删除消息时,存储消息副本的服务器之一可能无法使用。
如果发生这种情况,信息的副本不会在那个不可用的服务器上被删除,当你收到信息时,你可能会再次得到那个信息副本。把你的应用程序设计成空闲的(当处理同一消息超过一次时,它们不应该受到不利影响)。
# 亚马逊SQS队列和消息标识符

队列名称和URL

当您创建一个新的队列时,您必须为您的AWS帐户和地区指定一个独特的队列名称。Amazon SQS为您创建的每个队列分配一个标识符,称为队列URL,其中包括队列名称和其他Amazon SQS组件。每当你想对一个队列执行一个动作时,你就提供它的队列URL。
FIFO队列的名称必须以.fifo后缀结尾。后缀计入80个字符的队列名称配额。要确定一个队列是否是先进先出,你可以检查队列名称是否以后缀结尾。
下面是一个名为MyQueue的队列的队列URL,该队列由AWS账号为123456789012的用户拥有。

https://sqs.us-east-2.amazonaws.com/123456789012/MyQueue

你可以通过列举你的队列并解析帐号后面的字符串,以编程方式检索队列的URL。欲了解更多信息,请参见ListQueues。

消息ID

每条消息都会收到一个系统分配的消息ID,Amazon SQS会在SendMessage响应中返回给你。这个标识符对于识别消息很有用。(然而,要删除一条消息,你需要该消息的接收句柄。) 消息ID的最大长度是100个字符。

接收句柄

每次你从队列中收到一条消息,你都会收到该消息的一个接收句柄。这个句柄与接收消息的动作相关,而不是与消息本身相关。要删除消息或改变消息的可见性,你必须提供接收柄(而不是消息ID)。因此,在删除消息之前,你必须总是收到一条消息(你不能把一条消息放入队列,然后再调用它)。接收句柄的最大长度是1,024个字符。

重复数据删除的消息ID

用于重复计算已发送消息的令牌。如果一个具有特定消息重复编码的消息被成功发送,任何具有相同消息重复编码的消息都会被成功接受,但在5分钟的重复编码间隔内不会被交付。

消息组ID

指定消息属于特定消息组的标签。属于同一消息组的消息总是按照相对于消息组的严格顺序逐一处理(但是,属于不同消息组的消息可能会不按顺序处理)。

序列号

亚马逊SQS分配给每个消息的大的、非连续的数字。

信息元数据

亚马逊SQS消息属性

Amazon SQS允许您使用消息属性将结构化的元数据(如时间戳、地理空间数据、签名和标识符)与消息包括在一起。每条消息最多可以有10个属性。消息属性是可选的,并与消息正文分开(然而,它们会与消息正文一起发送)。你的消费者可以使用消息属性以特定的方式处理一条消息,而不必先处理消息正文。

信息属性组件

每个消息属性由以下部分组成。

1.名称 - 消息属性名称可以包含以下字符。A-Z、a-z、0-9、下划线(_)、连字符(-)和句号(.)。以下限制适用。
最长可以是256个字符
不能以AWS.或Amazon.开头。(或任何大小写变化)
是区分大小写的
在信息的所有属性名称中必须是唯一的
不能以句号开始或结束
在一个序列中不能有句号

2.类型 - 消息属性的数据类型。支持的类型包括字符串、数字和二进制。你也可以为任何数据类型添加自定义信息。数据类型具有与消息主体相同的限制(更多信息,请参见《亚马逊简单队列服务API参考》中的SendMessage)。此外,还适用以下限制。
最长可以达到256个字符
是区分大小写的

3.Value - 消息的属性值。对于字符串数据类型,属性值具有与消息正文相同的限制。

信息属性数据类型

消息属性数据类型指示Amazon SQS如何处理相应的消息属性值。例如,如果类型是Number,Amazon SQS就会验证数字值。
Amazon SQS支持逻辑数据类型String、Number和Binary,并有可选的自定义数据类型标签,格式为.custom-data-type
String - 字符串属性可以使用任何有效的XML字符存储Unicode文本。
Number - Number属性可以存储正数或负数的数值。一个数字可以有多达38位的精度,它可以在10-128和10+126之间。
二进制 - 二进制属性可以存储任何二进制数据,如压缩数据、加密数据或图像。
自定义 - 要创建一个自定义数据类型,在任何数据类型上附加一个自定义类型标签。例如。
Number.byte, Number.short, Number.int, and Number.float可以帮助区分数字类型。
Binary.gif和Binary.png可以帮助区分文件类型。

计算消息属性的MD5消息摘要

如果您使用AWS SDK for Java,您可以跳过本节。Java版SDK的MessageMD5ChecksumHandler类支持亚马逊SQS消息属性的MD5消息摘要。
如果您使用查询API或AWS SDK中的一个不支持Amazon SQS消息属性的MD5消息摘要,您必须使用以下指南来执行MD5消息摘要计算。

概述
以下是对MD5消息摘要计算算法的概述。
1.按名称升序对所有消息属性进行排序。
2.将每个属性的单独部分(名称、类型和值)编码到一个缓冲区。
3.计算整个缓冲区的消息摘要。

下图显示了单个消息属性的MD5消息摘要的编码情况。
在这里插入图片描述
要对一个单一的Amazon SQS消息属性进行编码
1.编码名称:长度(4字节)和名称的UTF-8字节。
2.编码数据类型:长度(4字节)和数据类型的UTF-8字节。
3.对值的传输类型(字符串或二进制)进行编码(1个字节)。
a.对于字符串传输类型,编码为1。
b.对于二进制传输类型,编码为2。
4.编码属性值。
a.对于字符串传输类型,对属性值进行编码:长度(4个字节)和该值的UTF-8字节。
b.对于二进制传输类型,对属性值进行编码:长度(4字节)和值的原始字节。

这篇关于aws SQS 工作原理的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/518668

相关文章

电脑系统Hosts文件原理和应用分享

《电脑系统Hosts文件原理和应用分享》Hosts是一个没有扩展名的系统文件,当用户在浏览器中输入一个需要登录的网址时,系统会首先自动从Hosts文件中寻找对应的IP地址,一旦找到,系统会立即打开对应... Hosts是一个没有扩展名的系统文件,可以用记事本等工具打开,其作用就是将一些常用的网址域名与其对应

Dubbo之SPI机制的实现原理和优势分析

《Dubbo之SPI机制的实现原理和优势分析》:本文主要介绍Dubbo之SPI机制的实现原理和优势,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Dubbo中SPI机制的实现原理和优势JDK 中的 SPI 机制解析Dubbo 中的 SPI 机制解析总结Dubbo中

Android与iOS设备MAC地址生成原理及Java实现详解

《Android与iOS设备MAC地址生成原理及Java实现详解》在无线网络通信中,MAC(MediaAccessControl)地址是设备的唯一网络标识符,本文主要介绍了Android与iOS设备M... 目录引言1. MAC地址基础1.1 MAC地址的组成1.2 MAC地址的分类2. android与I

Spring框架中@Lazy延迟加载原理和使用详解

《Spring框架中@Lazy延迟加载原理和使用详解》:本文主要介绍Spring框架中@Lazy延迟加载原理和使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐... 目录一、@Lazy延迟加载原理1.延迟加载原理1.1 @Lazy三种配置方法1.2 @Component

spring IOC的理解之原理和实现过程

《springIOC的理解之原理和实现过程》:本文主要介绍springIOC的理解之原理和实现过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、IoC 核心概念二、核心原理1. 容器架构2. 核心组件3. 工作流程三、关键实现机制1. Bean生命周期2.

Redis实现分布式锁全解析之从原理到实践过程

《Redis实现分布式锁全解析之从原理到实践过程》:本文主要介绍Redis实现分布式锁全解析之从原理到实践过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、背景介绍二、解决方案(一)使用 SETNX 命令(二)设置锁的过期时间(三)解决锁的误删问题(四)Re

redis中使用lua脚本的原理与基本使用详解

《redis中使用lua脚本的原理与基本使用详解》在Redis中使用Lua脚本可以实现原子性操作、减少网络开销以及提高执行效率,下面小编就来和大家详细介绍一下在redis中使用lua脚本的原理... 目录Redis 执行 Lua 脚本的原理基本使用方法使用EVAL命令执行 Lua 脚本使用EVALSHA命令

Java Spring 中 @PostConstruct 注解使用原理及常见场景

《JavaSpring中@PostConstruct注解使用原理及常见场景》在JavaSpring中,@PostConstruct注解是一个非常实用的功能,它允许开发者在Spring容器完全初... 目录一、@PostConstruct 注解概述二、@PostConstruct 注解的基本使用2.1 基本代

Golang HashMap实现原理解析

《GolangHashMap实现原理解析》HashMap是一种基于哈希表实现的键值对存储结构,它通过哈希函数将键映射到数组的索引位置,支持高效的插入、查找和删除操作,:本文主要介绍GolangH... 目录HashMap是一种基于哈希表实现的键值对存储结构,它通过哈希函数将键映射到数组的索引位置,支持

Spring Boot循环依赖原理、解决方案与最佳实践(全解析)

《SpringBoot循环依赖原理、解决方案与最佳实践(全解析)》循环依赖指两个或多个Bean相互直接或间接引用,形成闭环依赖关系,:本文主要介绍SpringBoot循环依赖原理、解决方案与最... 目录一、循环依赖的本质与危害1.1 什么是循环依赖?1.2 核心危害二、Spring的三级缓存机制2.1 三