对象存储服务的回源特性

2024-06-12 08:20

本文主要是介绍对象存储服务的回源特性,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

为充分提升基础设施相关预算的投资效率,数据安全性,客户的数据可能分布在多套存储中,按照价格、业务场景等,可以划分为如下形式:

  • 本地高端存储,支撑生产类业务
  • 本地低端存储,支撑归档类业务、分析型业务
  • 云端高端存储,支撑生产类业务、分析型业务
  • 云端低端存储,支撑归档类业务

依据不同的规则从不同的存储设备上获取数据,对于客户应用而言,则不是一个好消息,因此期望对象存储服务提供一个统一的访问点,简化客户应用程序的实现。
默认情况下,对象存储服务发现客户指定的对象不存在时,直接返回HTTP 404错误码,为实现回源业务,需要针对前述行为增加例外处理。
从实现技术角度,对象存储可以提供如下方案:

  • 重定向
  • 代理
  • CDN
  • 镜像

重定向

对象存储服务基于HTTP协议的301错误码,实现重定向。
相关流程如下:

  • 客户应用访问对象存储,指定对象名。
  • 对象存储服务检查对象名,发现对象在本集群中不存在。
  • 对象存储服务检查回源规则,发现可以由别的对象存储服务提供访问。
  • 对象存储服务在请求响应消息中返回HTTP 301错误码,同时提供指定的存储服务的URL。
  • 客户应用收到HTTP 301错误码后,使用响应消息中的对象存储服务的URL,重新发起访问请求。

在上述操作流程中,客户应用可以感知到本端对象存储服务和源对象存储服务。

代理

相关流程如下:

  • 客户应用访问对象存储,指定对象名。
  • 对象存储服务检查对象名,发现对象在本集群中不存在。
  • 对象存储服务检查回源规则,发现可以由别的对象存储服务提供访问。
  • 对象存储服务将客户端的请求,转发至源对象存储服务。
  • 本端对象存储服务等待源对象存储服务返回响应。
  • 本端对象存储服务收到响应后,重新封装后,返回给客户应用。
  • 客户应用收到响应。

在上述操作流程中,客户应用只能感知本端对象存储服务。
客户应用下次访问相同的对象时,本端对象存储服务仍然需要将请求转发至源对象存储服务。

CDN

相关流程如下:

  • 客户应用访问对象存储,指定对象名。
  • 对象存储服务检查对象名,发现对象在本集群中不存在。
  • 对象存储服务检查回源规则,发现可以由别的对象存储服务提供访问。
  • 对象存储服务将客户端的请求,转发至源对象存储服务。
  • 本端对象存储服务等待源对象存储服务返回响应。
  • 本端对象存储服务收到响应后
    • 重新封装后,返回给客户应用。
    • 在本端对象存储服务中保留一个副本,并指定过期规则。
  • 客户应用收到响应。

在上述操作流程中,客户应用只能感知本端对象存储服务。
客户应用下次访问相同的对象时,

  • 假如对象在本端对象存储服务中未过期,则由本端对象存储服务响应客户应用的请求。
  • 假如对象在本端对象存储服务中已过期,本端对象存储服务仍然需要将请求转发至源对象存储服务,同时将对象在本端对象存储服务中保留一个副本。

镜像

相关流程如下:

  • 客户应用访问对象存储,指定对象名。
  • 对象存储服务检查对象名,发现对象在本集群中不存在。
  • 对象存储服务检查回源规则,发现可以由别的对象存储服务提供访问。
  • 对象存储服务将客户端的请求,转发至源对象存储服务。
  • 本端对象存储服务等待源对象存储服务返回响应。
  • 本端对象存储服务收到响应后
    • 重新封装后,返回给客户应用。
    • 在本端对象存储服务中保留一个副本。
  • 客户应用收到响应。

在上述操作流程中,客户应用只能感知本端对象存储服务。
客户应用下次访问相同的对象时,直接由本端对象存储服务响应客户应用的请求。

实现思路

实现回源的方案时,考虑点如下:
需要回源的对象
比如:

  • 对象名,比如前缀、后缀
  • 访问账户

回源的站点
客户应用可以指定的参数,比如:

  • 站点的URL,可以指定1个或者多个,设计点比如:
    • 1个主站点,多个备站点
    • 多个主站点,多个备站点
    • 主、备之间切换的条件
    • 站点之间的负载策略
  • 站点的访问账户
  • 站点的并发度
    • 超出源站并发度的对策,请求排队或者直接返回即定的错误码
  • 请求超时值
  • 失效阈值
    • 连续失败的次数
    • 给定时间内失败的次数
    • 连续超时的次数
    • 给定时间内超时的次数
  • HTTP头部的处理
    • 可行的操作,比如透传、附加、修改、删除
    • 处理的范围,比如请求消息中的头部、响应消息中的头部

回源支持的操作
比如读相关的操作。

回源方式
不同回源方式涉及到的业务参数。

  • 重定向
    • 指示客户应用需重新访问的错误码,一般是301
    • 错误码映射,兼容源站的即有实现
  • 代理
    • 访问超时值
    • 错误码映射,兼容源站的即有实现
  • CDN
    • 保留期,决定了对象暂存多长时间
    • 保留对象的桶
    • 保留对象的桶的空间配额
    • 超出配额之后的对策,比如:
      • 不缓存新对象
      • 清理老对象,LRU等
  • 镜像
    • 保留对象的桶
    • 保留对象的桶的空间配额
    • 超出配额之后的对策,比如:
      • 不缓存新对象
      • 清理老对象,LRU等

参考资料

华为云

  • 设置镜像回源规则
  • 获取镜像回源规则
  • 删除镜像回源规则

XSKY

  • 「星技术」纳管对象、NAS及公有云等存储,XSKY对象回源轻松搞定!

这篇关于对象存储服务的回源特性的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1053685

相关文章

MyBatis-plus处理存储json数据过程

《MyBatis-plus处理存储json数据过程》文章介绍MyBatis-Plus3.4.21处理对象与集合的差异:对象可用内置Handler配合autoResultMap,集合需自定义处理器继承F... 目录1、如果是对象2、如果需要转换的是List集合总结对象和集合分两种情况处理,目前我用的MP的版本

sysmain服务可以禁用吗? 电脑sysmain服务关闭后的影响与操作指南

《sysmain服务可以禁用吗?电脑sysmain服务关闭后的影响与操作指南》在Windows系统中,SysMain服务(原名Superfetch)作为一个旨在提升系统性能的关键组件,一直备受用户关... 在使用 Windows 系统时,有时候真有点像在「开盲盒」。全新安装系统后的「默认设置」,往往并不尽编

Python 基于http.server模块实现简单http服务的代码举例

《Python基于http.server模块实现简单http服务的代码举例》Pythonhttp.server模块通过继承BaseHTTPRequestHandler处理HTTP请求,使用Threa... 目录测试环境代码实现相关介绍模块简介类及相关函数简介参考链接测试环境win11专业版python

Nginx中配置使用非默认80端口进行服务的完整指南

《Nginx中配置使用非默认80端口进行服务的完整指南》在实际生产环境中,我们经常需要将Nginx配置在其他端口上运行,本文将详细介绍如何在Nginx中配置使用非默认端口进行服务,希望对大家有所帮助... 目录一、为什么需要使用非默认端口二、配置Nginx使用非默认端口的基本方法2.1 修改listen指令

SysMain服务可以关吗? 解决SysMain服务导致的高CPU使用率问题

《SysMain服务可以关吗?解决SysMain服务导致的高CPU使用率问题》SysMain服务是超级预读取,该服务会记录您打开应用程序的模式,并预先将它们加载到内存中以节省时间,但它可能占用大量... 在使用电脑的过程中,CPU使用率居高不下是许多用户都遇到过的问题,其中名为SysMain的服务往往是罪魁

使用SpringBoot+InfluxDB实现高效数据存储与查询

《使用SpringBoot+InfluxDB实现高效数据存储与查询》InfluxDB是一个开源的时间序列数据库,特别适合处理带有时间戳的监控数据、指标数据等,下面详细介绍如何在SpringBoot项目... 目录1、项目介绍2、 InfluxDB 介绍3、Spring Boot 配置 InfluxDB4、I

使用Java读取本地文件并转换为MultipartFile对象的方法

《使用Java读取本地文件并转换为MultipartFile对象的方法》在许多JavaWeb应用中,我们经常会遇到将本地文件上传至服务器或其他系统的需求,在这种场景下,MultipartFile对象非... 目录1. 基本需求2. 自定义 MultipartFile 类3. 实现代码4. 代码解析5. 自定

解决若依微服务框架启动报错的问题

《解决若依微服务框架启动报错的问题》Invalidboundstatement错误通常由MyBatis映射文件未正确加载或Nacos配置未读取导致,需检查XML的namespace与方法ID是否匹配,... 目录ruoyi-system模块报错报错详情nacos文件目录总结ruoyi-systnGLNYpe

javaSE类和对象进阶用法举例详解

《javaSE类和对象进阶用法举例详解》JavaSE的面向对象编程是软件开发中的基石,它通过类和对象的概念,实现了代码的模块化、可复用性和灵活性,:本文主要介绍javaSE类和对象进阶用法的相关资... 目录前言一、封装1.访问限定符2.包2.1包的概念2.2导入包2.3自定义包2.4常见的包二、stati

Nginx进行平滑升级的实战指南(不中断服务版本更新)

《Nginx进行平滑升级的实战指南(不中断服务版本更新)》Nginx的平滑升级(也称为热升级)是一种在不停止服务的情况下更新Nginx版本或添加模块的方法,这种升级方式确保了服务的高可用性,避免了因升... 目录一.下载并编译新版Nginx1.下载解压2.编译二.替换可执行文件,并平滑升级1.替换可执行文件