把100PB数据迁移到阿里云,需要几步?

2024-02-16 16:38

本文主要是介绍把100PB数据迁移到阿里云,需要几步?,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

把大象关进冰箱,需要几步?三步。

第一步,打开冰箱门

第二步,把大象放进冰箱

第三步,关上冰箱门

把100PB 115科技的数据迁移到阿里云,需要几步?同样是三步。

第一步,把数据拷入闪电立方

第二步,把闪电立方运送到阿里数据中心

第三步,把数据从闪电立方拷出来,齐活!

说起来很轻松

可是,您知道100PB的数据到底有多大吗?

看看下面这张图,您就明白了。



迁移100PB数据!这场互联网史上最大规模的公共云迁移,仅仅用45天就圆满完成,不得不说几乎是一个奇迹。

但看似简单的背后,往往蕴含着极度的复杂。

这次115科技的数据迁移同样如此。

 100PB海量数据迁移,整体服务不停机,客户无感知。

稍微想想,你就会明白要同时满足这三个条件到底有多难。

为了保障这次115科技业务的平滑迁移,阿里云将分布在不同地区的数千台物理机内的数据与云上的位置进行了一一对应的规划,保证每一比特都有迹可循。同时,阿里云采用了专线互连的传输方式,建立边界路由器和路由器接口来连接115的数据中心与阿里云VPC,采用400Gb/s的分布式在线数据传输服务OSSImport,将115的数据加密迁移到对象存储OSS中,并对每个文件做端到端的SHA-1校验,避免出现数据不可用或者不一致的情况。

为了提升传输效率,阿里云存储研发团队在10天内设计了11个功能,包括SHA-1校验边算边传、WORM(一写多读禁止覆盖))、HEIF与矢量图片转换支持等特性,用于承载115科技的非结构化数据如文档、图片、视频的业务。

但最大的挑战,实际上来自于海量数据迁移。将100PB数据迁移从115科技数据中心传送至阿里云数据中心,如果用普通办公网络上传,要2700多年才能传完。即使采用较快的百兆网络传输,也至少需要300多年。所以,必须采用其他的方法,才能完成这看似无法完成的任务。

阿里云想到了一个绝妙的点子,他们发明了一种全新的离线数据迁移方案——闪电立方。闪电立方像极了一台电脑主机(居然还有音频接口),可防尘防水,抗震抗压。每套闪电立方可存储480TB数据,这样只要合理安排好数据转移和搬运的周期,再加上部分网络状况好的数据中心可以实行在线迁移,就可以在较短的时间里完成迁移100PB数据的壮举。

从实际的时间成本来看,这种离线的物理迁移看似原始其实却非常高效,115科技的上云时间从预计的4个月大幅缩短到了45天。

不过,大家都知道,仅仅迁移数据,并不是完整的云迁移,只有把业务系统同时进行迁移,才能称得上是云迁移,同时,我们也知道,数据分为冷数据和热数据,对于冷数据来说,使用闪电立方离线搬运,并不存在任何问题,不过对于业务系统以及与业务相关联的热数据,如何利用闪电立方来迁移这些业务系统和数据,又同时保证服务服务不停机、客户无感知、数据一致的问题呢?阿里云存储资深技术总监陈弘介绍说,这就需要先在阿里云搭建一套同样的业务系统,然后对业务相关联的热数据进行类似于双活热备的数据迁移,最后再把变化的增量与通过闪电立方运送到阿里云数据中心的数据进行同步,才能最终完成整个迁移过程。

而在整个迁移的过程中,需要前期做到详细咨询、精心规划,中期做到按部就班、大胆心细,后期做到认真交接、严格验收。当然,也需要闪电立方中强大的软件工具的支持和协助以及合作伙伴的大力支持。

眼见为实,在上海云栖大会上,阿里云现场演示了闪电立方迁移115数据的过程:2TB数据的安全传输过程仅仅耗费了2分03秒,全场黑衣服墨镜装扮的保镖,则象征着阿里云闪电立方在安全性方面的保障:每块硬盘专项分离保护,专人专车的运输。清楚的让用户感受到阿里云离线传输的专业、高效、安全。

为了使得更多类型的用户可以分享阿里云闪电立方的技术红利,阿里云还推出了闪电立方mini版,可提供单台40TB的数据迁移能力,更值得称道是闪电立方内置软件的图形化界面,引导式服务体验,可以令没有存储专业知识的普通用户也可以轻松上手,轻易完成以前复杂的数据迁移工作。而在这背后,是阿里云研发人员付出的辛苦劳动,阿里云存储资深产品总监承宗坦言,将互联网产品思维带到企业级产品上,这本身就是对阿里云研发人员的很大的挑战,而真正让互联网产品的体验体现在企业级产品上,就是更大的挑战了,感谢阿里云研发人员的艰苦努力,最终为用户提供了这样一个简单易用的数据迁移解决方案。

在数据安全方面,闪电立方mini版同样提供端到端的数据加密服务和数据一致性校验。不同的是,闪电立方mini版可以自行部署,再由专业的物流运输至阿里云的数据中心,实现离线数据的快速上云。

更好的消息是,阿里云闪电立方采用的是租用模式,不需要花费大价钱去购买硬件,计费完全由使用闪电立方的时间而确定,这对资金并不宽裕的中小企业来说,真的是一个福音。

其实,阿里云在企业级存储市场布局已久,凭借多层次防护、跨Region容灾等能力已经连续2年入选Gartner全球云存储魔力象限,处于全球前四的领导者地位。

此前,阿里云还曾帮助中石化、中国邮政、中国南方电网、飞利浦等多家企业实施上云迁移,并提供云化战略咨询、云上应用架构优化等服务,115科技上云也让阿里云成为国内唯一拥有百PB级别迁移经验的云服务厂商。

这篇关于把100PB数据迁移到阿里云,需要几步?的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/715108

相关文章

SpringBoot多环境配置数据读取方式

《SpringBoot多环境配置数据读取方式》SpringBoot通过环境隔离机制,支持properties/yaml/yml多格式配置,结合@Value、Environment和@Configura... 目录一、多环境配置的核心思路二、3种配置文件格式详解2.1 properties格式(传统格式)1.

解决pandas无法读取csv文件数据的问题

《解决pandas无法读取csv文件数据的问题》本文讲述作者用Pandas读取CSV文件时因参数设置不当导致数据错位,通过调整delimiter和on_bad_lines参数最终解决问题,并强调正确参... 目录一、前言二、问题复现1. 问题2. 通过 on_bad_lines=‘warn’ 跳过异常数据3

C#监听txt文档获取新数据方式

《C#监听txt文档获取新数据方式》文章介绍通过监听txt文件获取最新数据,并实现开机自启动、禁用窗口关闭按钮、阻止Ctrl+C中断及防止程序退出等功能,代码整合于主函数中,供参考学习... 目录前言一、监听txt文档增加数据二、其他功能1. 设置开机自启动2. 禁止控制台窗口关闭按钮3. 阻止Ctrl +

java如何实现高并发场景下三级缓存的数据一致性

《java如何实现高并发场景下三级缓存的数据一致性》这篇文章主要为大家详细介绍了java如何实现高并发场景下三级缓存的数据一致性,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 下面代码是一个使用Java和Redisson实现的三级缓存服务,主要功能包括:1.缓存结构:本地缓存:使

在MySQL中实现冷热数据分离的方法及使用场景底层原理解析

《在MySQL中实现冷热数据分离的方法及使用场景底层原理解析》MySQL冷热数据分离通过分表/分区策略、数据归档和索引优化,将频繁访问的热数据与冷数据分开存储,提升查询效率并降低存储成本,适用于高并发... 目录实现冷热数据分离1. 分表策略2. 使用分区表3. 数据归档与迁移在mysql中实现冷热数据分

C#解析JSON数据全攻略指南

《C#解析JSON数据全攻略指南》这篇文章主要为大家详细介绍了使用C#解析JSON数据全攻略指南,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录一、为什么jsON是C#开发必修课?二、四步搞定网络JSON数据1. 获取数据 - HttpClient最佳实践2. 动态解析 - 快速

MyBatis-Plus通用中等、大量数据分批查询和处理方法

《MyBatis-Plus通用中等、大量数据分批查询和处理方法》文章介绍MyBatis-Plus分页查询处理,通过函数式接口与Lambda表达式实现通用逻辑,方法抽象但功能强大,建议扩展分批处理及流式... 目录函数式接口获取分页数据接口数据处理接口通用逻辑工具类使用方法简单查询自定义查询方法总结函数式接口

MySQL 迁移至 Doris 最佳实践方案(最新整理)

《MySQL迁移至Doris最佳实践方案(最新整理)》本文将深入剖析三种经过实践验证的MySQL迁移至Doris的最佳方案,涵盖全量迁移、增量同步、混合迁移以及基于CDC(ChangeData... 目录一、China编程JDBC Catalog 联邦查询方案(适合跨库实时查询)1. 方案概述2. 环境要求3.

SQL中如何添加数据(常见方法及示例)

《SQL中如何添加数据(常见方法及示例)》SQL全称为StructuredQueryLanguage,是一种用于管理关系数据库的标准编程语言,下面给大家介绍SQL中如何添加数据,感兴趣的朋友一起看看吧... 目录在mysql中,有多种方法可以添加数据。以下是一些常见的方法及其示例。1. 使用INSERT I

Python使用vllm处理多模态数据的预处理技巧

《Python使用vllm处理多模态数据的预处理技巧》本文深入探讨了在Python环境下使用vLLM处理多模态数据的预处理技巧,我们将从基础概念出发,详细讲解文本、图像、音频等多模态数据的预处理方法,... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核