杉岩数据:MOS对象存储为IPFS打造坚实底座

2023-10-29 14:32

本文主要是介绍杉岩数据:MOS对象存储为IPFS打造坚实底座,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

IPFS是InterPlanetary File System(星际文件系统)的简称,是一个旨在创建持久且分布式存储和共享文件的网络传输协议。IPFS网络中的节点构成了一个分布式文件系统,它为用户提供了一个支持部署和写入的平台,同时能够支持大文件的分发和版本管理。

IPFS试图解决什么问题?

IPFS是对中心化存储的一种补充,具有去中心化、数据不可篡改、全程留痕、可以追溯、集体维护、公开透明的特点。其目标是通过建立对等的分布式文件系统,为数据存储服务的需求者提供一个高吞吐量、按内容寻址的块存储模型,及与内容相关的超链接。分布式内容传递可以节约带宽,和防止HTTP可能遇到的DDoS攻击。

相较于中心化存储(基于HTTP构建的云存储),IPFS解决了下载速度慢、存储成本高、修复能力不足以及数据隐私安全等问题,且不存在单点故障,网络节点之间不需要相互信任,安全性和可靠性更高。

IPFS如何保证用户数据被安全地存储?

从数据存取的角度来看,IPFS的做法是:文件被用户上传时,会切割成N个加密碎片,分散存储在供应方(矿工)提供的存储空间中,在下载时再合成为完整的源文件;通过一种共识机制(复制证明PoRep和时空证明PoSt)来确保正确的数据在正确的时间被有效存储且未被篡改,以保障安全、公开、透明;据此,系统也会得出矿工的实际贡献值,提供对等的报酬。

图1.IPFS通过共识机制确保数据安全

整体流程大致如下:当用户上传原始数据后,矿工向主链提交交易证明并获取出块权,之后按照规则将数据装入扇区继而封装成标准大小(32GB)的数据块;在封装过程中会进行复制证明并提交给主链,以证明矿工确实保存了用户要求存储的数据;数据封装后,系统会按照数据的存储期限,每隔一段时间(一般是半小时一次)运行时空证明,以证明矿工确实在规定时间内存储了准确的数据。

IPFS需要高度匹配的存储能力

在运行证明的过程中,需要强大的算力支撑,这既包括对原始数据的封装处理、对证明数据的高效运算,还包括对封装数据的及时写入、对证明数据的检索抽取。这对存储也提出了严苛的要求,主要特点如下。

图2.证明过程中计算与存储高频交互

超大容量

IPFS要求数据持续可读,历史数据永久保存。一般周数据增量为PB级,年增量可达百PB级甚至EB级。

高吞吐

IPFS写入模型是大文件并发写入,存储集群至少要提供100Gbps以上的吞吐量,以保证封装数据的写入效率。

随机读

在时空证明阶段,每天完成一次全量证明(分48次进行,每半小时就要完成一个SHARD的证明),均是小数据块随机读,要求存储提供极高的随机读取效率。

高效运维

数百PB甚至EB级的海量空间,必然由大规模集群来支撑,高效运维、降低人力成本同样是刚需。

兼顾安全与低成本

除了IPFS原有的哈希去重和加密算法,存储集群也需要提供低成本的安全保护策略。业内厂商多采用高性价比的纠删码方案,在保证数据高可用的同时,尽可能降低总体成本。

MOS对象存储为IPFS打造坚实底座

从前文的描述中不难看出,选择合适的存储底座无疑能给IPFS带来强有力支撑。杉岩MOS对象存储凭借海量、高性能、智能化、低成本等优势,为IPFS场景提供了极佳的存储底座。

图3.基于MOS打造强大的存储底座

EB级弹性扩展,300 Gbps吞吐能力

MOS可提供单一命名空间的EB级资源池,以及超过300 Gbps的吞吐能力;由于计算与存储分离,存储集群可独立扩展,灵活响应业务变化。

空间利用率超90%,成本节约超过50%

为了满足数据高可用和低成本的要求,MOS采用22+2的纠删码技术,将空间利用率提升到了90%以上,相较于3副本策略,硬件成本缩减超过50%。

15秒读完一个Partition

针对IPFS高频随机读的特点,MOS也进行了性能优化,可将数百次随机读请求合并为一个请求,将读取效率提升了数倍,每15秒即可读完一个Partition。

管理超大规模集群仅需1-2人

MOS提供可视化管理和智能化运维,故障自动监测和即时申报;通过多故障域隔离和智能DNS分配技术,帮助运维人员轻松管控超大规模集群,在提升数据可靠性的同时降低运维复杂度,节省人力成本。

“工欲善其事,必先利其器。”IPFS需要强大的云算力,除了部署强大的算力集群,选好存储同样重要。杉岩已顺利交付IPFS项目,实践证明,MOS对象存储值得这份信赖。

这篇关于杉岩数据:MOS对象存储为IPFS打造坚实底座的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/301287

相关文章

SpringMVC高效获取JavaBean对象指南

《SpringMVC高效获取JavaBean对象指南》SpringMVC通过数据绑定自动将请求参数映射到JavaBean,支持表单、URL及JSON数据,需用@ModelAttribute、@Requ... 目录Spring MVC 获取 JavaBean 对象指南核心机制:数据绑定实现步骤1. 定义 Ja

Python打印对象所有属性和值的方法小结

《Python打印对象所有属性和值的方法小结》在Python开发过程中,调试代码时经常需要查看对象的当前状态,也就是对象的所有属性和对应的值,然而,Python并没有像PHP的print_r那样直接提... 目录python中打印对象所有属性和值的方法实现步骤1. 使用vars()和pprint()2. 使

SQL Server修改数据库名及物理数据文件名操作步骤

《SQLServer修改数据库名及物理数据文件名操作步骤》在SQLServer中重命名数据库是一个常见的操作,但需要确保用户具有足够的权限来执行此操作,:本文主要介绍SQLServer修改数据... 目录一、背景介绍二、操作步骤2.1 设置为单用户模式(断开连接)2.2 修改数据库名称2.3 查找逻辑文件名

canal实现mysql数据同步的详细过程

《canal实现mysql数据同步的详细过程》:本文主要介绍canal实现mysql数据同步的详细过程,本文通过实例图文相结合给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的... 目录1、canal下载2、mysql同步用户创建和授权3、canal admin安装和启动4、canal

MySQL存储过程之循环遍历查询的结果集详解

《MySQL存储过程之循环遍历查询的结果集详解》:本文主要介绍MySQL存储过程之循环遍历查询的结果集,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录前言1. 表结构2. 存储过程3. 关于存储过程的SQL补充总结前言近来碰到这样一个问题:在生产上导入的数据发现

MySQL JSON 查询中的对象与数组技巧及查询示例

《MySQLJSON查询中的对象与数组技巧及查询示例》MySQL中JSON对象和JSON数组查询的详细介绍及带有WHERE条件的查询示例,本文给大家介绍的非常详细,mysqljson查询示例相关知... 目录jsON 对象查询1. JSON_CONTAINS2. JSON_EXTRACT3. JSON_TA

使用SpringBoot整合Sharding Sphere实现数据脱敏的示例

《使用SpringBoot整合ShardingSphere实现数据脱敏的示例》ApacheShardingSphere数据脱敏模块,通过SQL拦截与改写实现敏感信息加密存储,解决手动处理繁琐及系统改... 目录痛点一:痛点二:脱敏配置Quick Start——Spring 显示配置:1.引入依赖2.创建脱敏

C#之List集合去重复对象的实现方法

《C#之List集合去重复对象的实现方法》:本文主要介绍C#之List集合去重复对象的实现方法,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录C# List集合去重复对象方法1、测试数据2、测试数据3、知识点补充总结C# List集合去重复对象方法1、测试数据

详解如何使用Python构建从数据到文档的自动化工作流

《详解如何使用Python构建从数据到文档的自动化工作流》这篇文章将通过真实工作场景拆解,为大家展示如何用Python构建自动化工作流,让工具代替人力完成这些数字苦力活,感兴趣的小伙伴可以跟随小编一起... 目录一、Excel处理:从数据搬运工到智能分析师二、PDF处理:文档工厂的智能生产线三、邮件自动化:

Python数据分析与可视化的全面指南(从数据清洗到图表呈现)

《Python数据分析与可视化的全面指南(从数据清洗到图表呈现)》Python是数据分析与可视化领域中最受欢迎的编程语言之一,凭借其丰富的库和工具,Python能够帮助我们快速处理、分析数据并生成高质... 目录一、数据采集与初步探索二、数据清洗的七种武器1. 缺失值处理策略2. 异常值检测与修正3. 数据