对象存储服务的回源特性

2024-06-12 08:20

本文主要是介绍对象存储服务的回源特性,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

为充分提升基础设施相关预算的投资效率,数据安全性,客户的数据可能分布在多套存储中,按照价格、业务场景等,可以划分为如下形式:

  • 本地高端存储,支撑生产类业务
  • 本地低端存储,支撑归档类业务、分析型业务
  • 云端高端存储,支撑生产类业务、分析型业务
  • 云端低端存储,支撑归档类业务

依据不同的规则从不同的存储设备上获取数据,对于客户应用而言,则不是一个好消息,因此期望对象存储服务提供一个统一的访问点,简化客户应用程序的实现。
默认情况下,对象存储服务发现客户指定的对象不存在时,直接返回HTTP 404错误码,为实现回源业务,需要针对前述行为增加例外处理。
从实现技术角度,对象存储可以提供如下方案:

  • 重定向
  • 代理
  • CDN
  • 镜像

重定向

对象存储服务基于HTTP协议的301错误码,实现重定向。
相关流程如下:

  • 客户应用访问对象存储,指定对象名。
  • 对象存储服务检查对象名,发现对象在本集群中不存在。
  • 对象存储服务检查回源规则,发现可以由别的对象存储服务提供访问。
  • 对象存储服务在请求响应消息中返回HTTP 301错误码,同时提供指定的存储服务的URL。
  • 客户应用收到HTTP 301错误码后,使用响应消息中的对象存储服务的URL,重新发起访问请求。

在上述操作流程中,客户应用可以感知到本端对象存储服务和源对象存储服务。

代理

相关流程如下:

  • 客户应用访问对象存储,指定对象名。
  • 对象存储服务检查对象名,发现对象在本集群中不存在。
  • 对象存储服务检查回源规则,发现可以由别的对象存储服务提供访问。
  • 对象存储服务将客户端的请求,转发至源对象存储服务。
  • 本端对象存储服务等待源对象存储服务返回响应。
  • 本端对象存储服务收到响应后,重新封装后,返回给客户应用。
  • 客户应用收到响应。

在上述操作流程中,客户应用只能感知本端对象存储服务。
客户应用下次访问相同的对象时,本端对象存储服务仍然需要将请求转发至源对象存储服务。

CDN

相关流程如下:

  • 客户应用访问对象存储,指定对象名。
  • 对象存储服务检查对象名,发现对象在本集群中不存在。
  • 对象存储服务检查回源规则,发现可以由别的对象存储服务提供访问。
  • 对象存储服务将客户端的请求,转发至源对象存储服务。
  • 本端对象存储服务等待源对象存储服务返回响应。
  • 本端对象存储服务收到响应后
    • 重新封装后,返回给客户应用。
    • 在本端对象存储服务中保留一个副本,并指定过期规则。
  • 客户应用收到响应。

在上述操作流程中,客户应用只能感知本端对象存储服务。
客户应用下次访问相同的对象时,

  • 假如对象在本端对象存储服务中未过期,则由本端对象存储服务响应客户应用的请求。
  • 假如对象在本端对象存储服务中已过期,本端对象存储服务仍然需要将请求转发至源对象存储服务,同时将对象在本端对象存储服务中保留一个副本。

镜像

相关流程如下:

  • 客户应用访问对象存储,指定对象名。
  • 对象存储服务检查对象名,发现对象在本集群中不存在。
  • 对象存储服务检查回源规则,发现可以由别的对象存储服务提供访问。
  • 对象存储服务将客户端的请求,转发至源对象存储服务。
  • 本端对象存储服务等待源对象存储服务返回响应。
  • 本端对象存储服务收到响应后
    • 重新封装后,返回给客户应用。
    • 在本端对象存储服务中保留一个副本。
  • 客户应用收到响应。

在上述操作流程中,客户应用只能感知本端对象存储服务。
客户应用下次访问相同的对象时,直接由本端对象存储服务响应客户应用的请求。

实现思路

实现回源的方案时,考虑点如下:
需要回源的对象
比如:

  • 对象名,比如前缀、后缀
  • 访问账户

回源的站点
客户应用可以指定的参数,比如:

  • 站点的URL,可以指定1个或者多个,设计点比如:
    • 1个主站点,多个备站点
    • 多个主站点,多个备站点
    • 主、备之间切换的条件
    • 站点之间的负载策略
  • 站点的访问账户
  • 站点的并发度
    • 超出源站并发度的对策,请求排队或者直接返回即定的错误码
  • 请求超时值
  • 失效阈值
    • 连续失败的次数
    • 给定时间内失败的次数
    • 连续超时的次数
    • 给定时间内超时的次数
  • HTTP头部的处理
    • 可行的操作,比如透传、附加、修改、删除
    • 处理的范围,比如请求消息中的头部、响应消息中的头部

回源支持的操作
比如读相关的操作。

回源方式
不同回源方式涉及到的业务参数。

  • 重定向
    • 指示客户应用需重新访问的错误码,一般是301
    • 错误码映射,兼容源站的即有实现
  • 代理
    • 访问超时值
    • 错误码映射,兼容源站的即有实现
  • CDN
    • 保留期,决定了对象暂存多长时间
    • 保留对象的桶
    • 保留对象的桶的空间配额
    • 超出配额之后的对策,比如:
      • 不缓存新对象
      • 清理老对象,LRU等
  • 镜像
    • 保留对象的桶
    • 保留对象的桶的空间配额
    • 超出配额之后的对策,比如:
      • 不缓存新对象
      • 清理老对象,LRU等

参考资料

华为云

  • 设置镜像回源规则
  • 获取镜像回源规则
  • 删除镜像回源规则

XSKY

  • 「星技术」纳管对象、NAS及公有云等存储,XSKY对象回源轻松搞定!

这篇关于对象存储服务的回源特性的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1053685

相关文章

SpringMVC高效获取JavaBean对象指南

《SpringMVC高效获取JavaBean对象指南》SpringMVC通过数据绑定自动将请求参数映射到JavaBean,支持表单、URL及JSON数据,需用@ModelAttribute、@Requ... 目录Spring MVC 获取 JavaBean 对象指南核心机制:数据绑定实现步骤1. 定义 Ja

Python打印对象所有属性和值的方法小结

《Python打印对象所有属性和值的方法小结》在Python开发过程中,调试代码时经常需要查看对象的当前状态,也就是对象的所有属性和对应的值,然而,Python并没有像PHP的print_r那样直接提... 目录python中打印对象所有属性和值的方法实现步骤1. 使用vars()和pprint()2. 使

MySQL存储过程之循环遍历查询的结果集详解

《MySQL存储过程之循环遍历查询的结果集详解》:本文主要介绍MySQL存储过程之循环遍历查询的结果集,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录前言1. 表结构2. 存储过程3. 关于存储过程的SQL补充总结前言近来碰到这样一个问题:在生产上导入的数据发现

SpringBoot服务获取Pod当前IP的两种方案

《SpringBoot服务获取Pod当前IP的两种方案》在Kubernetes集群中,SpringBoot服务获取Pod当前IP的方案主要有两种,通过环境变量注入或通过Java代码动态获取网络接口IP... 目录方案一:通过 Kubernetes Downward API 注入环境变量原理步骤方案二:通过

MySQL JSON 查询中的对象与数组技巧及查询示例

《MySQLJSON查询中的对象与数组技巧及查询示例》MySQL中JSON对象和JSON数组查询的详细介绍及带有WHERE条件的查询示例,本文给大家介绍的非常详细,mysqljson查询示例相关知... 目录jsON 对象查询1. JSON_CONTAINS2. JSON_EXTRACT3. JSON_TA

C#之List集合去重复对象的实现方法

《C#之List集合去重复对象的实现方法》:本文主要介绍C#之List集合去重复对象的实现方法,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录C# List集合去重复对象方法1、测试数据2、测试数据3、知识点补充总结C# List集合去重复对象方法1、测试数据

如何搭建并配置HTTPD文件服务及访问权限控制

《如何搭建并配置HTTPD文件服务及访问权限控制》:本文主要介绍如何搭建并配置HTTPD文件服务及访问权限控制的问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、安装HTTPD服务二、HTTPD服务目录结构三、配置修改四、服务启动五、基于用户访问权限控制六、

Spring中管理bean对象的方式(专业级说明)

《Spring中管理bean对象的方式(专业级说明)》在Spring框架中,Bean的管理是核心功能,主要通过IoC(控制反转)容器实现,下面给大家介绍Spring中管理bean对象的方式,感兴趣的朋... 目录1.Bean的声明与注册1.1 基于XML配置1.2 基于注解(主流方式)1.3 基于Java

C++/类与对象/默认成员函数@构造函数的用法

《C++/类与对象/默认成员函数@构造函数的用法》:本文主要介绍C++/类与对象/默认成员函数@构造函数的用法,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录名词概念默认成员函数构造函数概念函数特征显示构造函数隐式构造函数总结名词概念默认构造函数:不用传参就可以

C++类和对象之默认成员函数的使用解读

《C++类和对象之默认成员函数的使用解读》:本文主要介绍C++类和对象之默认成员函数的使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、默认成员函数有哪些二、各默认成员函数详解默认构造函数析构函数拷贝构造函数拷贝赋值运算符三、默认成员函数的注意事项总结一