如何将本地数迁移至腾讯云之一工具篇 - COS Migration

2024-03-23 19:48

本文主要是介绍如何将本地数迁移至腾讯云之一工具篇 - COS Migration,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

640?wx_fmt=gif

COS Migration 功能说明

COS Migration 是一个集成了 COS 数据迁移功能的一体化工具。通过简单的配置操作,用户可以将源地址数据快速迁移至 COS 中,它具有以下特点:

  • 丰富的数据源:

    • 本地数据:将本地存储的数据迁移到 COS。

    • 其他云存储:目前支持 AWS S3,阿里云 OSS,七牛存储迁移至 COS,后续会不断扩展。

    • URL 列表:根据指定的 URL 下载列表进行下载迁移到 COS。

    • Bucket 相互复制:COS 的 Bucket 数据相互复制,支持跨账号跨地域的数据复制。

  • 断点续传:工具支持上传时断点续传。对于一些大文件,如果中途退出或者因为服务故障,可重新运行工具,会对未上传完成的文件进行续传。

  • 分块上传:将对象按照分块的方式上传到 COS。

  • 并行上传:支持多个对象同时上传。

  • 迁移校验:对象迁移后的校验。

注意:
  • COS Migration 的编码格式只支持 UTF-8 格式。
  • 使用该工具上传同名文件,会覆盖较旧的同名文件,不支持校对是否存在同名文件的功能。
COS Migration 使用环境

系统环境

Windows、Linux 和 macOS 系统。

软件依赖

  • JDK 1.8 X64或以上。

COS Migration 使用方法

1. 获取工具

下载 COS Migration 工具。

(详情查阅:https://github.com/tencentyun/cos_migrate_tool_v5)

2. 解压缩工具包

Windows

解压并保存到某个目录,例如

C:\Users\Administrator\Downloads\cos_migrate
Linux

解压并保存到某个目录

unzip cos_migrate_tool_v5-master.zip && cd cos_migrate_tool_v5-master
迁移工具结构

正确解压后的 COS Migration 工具目录结构如下所示:

COS_Migrate_tool	
|——conf  #配置文件所在目录	
|   |——config.ini  #迁移配置文件	
|——db    #存储迁移成功的记录	
|——dep   #程序主逻辑编译生成的JAR|——log   #工具执行中生成的日志	
|——opbin #用于编译的脚本	
|——src   #工具的源码	
|——tmp   #临时文件存储目录	
|——pom.xml #项目配置文件	
|——README  #说明文档	
|——start_migrate.sh  #Linux 下迁移启动脚本	
|——start_migrate.bat #Windows 下迁移启动脚本
说明:
  • db 目录主要记录工具迁移成功的文件标识,每次迁移任务会优先对比 db 中的记录,若当前文件标识已被记录,则会跳过当前文件,否则进行文件迁移。
  • log 目录记录着工具迁移时的所有日志,若在迁移过程中出现错误,请先查看该目录下的 error.log。

3. 修改 config.ini 配置文件

在执行迁移启动脚本之前,需先进行 config.ini 配置文件修改(路径:./conf/config.ini),config.ini 内容可以分为以下几部分:

3.1 配置迁移类型

type 表示迁移类型,用户根据迁移需求填写对应的标识。例如,需要将本地数据迁移至 COS,则[migrateType]的配置内容是type=migrateLocal

[migrateType]	
type=migrateLocal

目前支持的迁移类型如下:

migrateType                  描述
migrateLocal从本地迁移至 COS
migrateAws从 AWS S3 迁移至 COS
migrateAli从阿里 OSS 迁移至 COS
migrateQiniu从七牛迁移至 COS
migrateUrl下载 URL 迁移到 COS
migrateBucketCopy从源 Bucket 复制到目标 Bucket
3.2 配置迁移任务

用户根据实际的迁移需求进行相关配置,主要包括迁移至目标 COS 信息配置及迁移任务相关配置。

# 迁移工具的公共配置分节,包含了需要迁移到目标 COS 的账户信息。	
[common]	
secretId=COS_SECRETID	
secretKey=COS_SECRETKEY	
bucketName=examplebucket-1250000000	
region=ap-guangzhou	
storageClass=Standard	
cosPath=/	
https=off	
tmpFolder=./tmp	
smallFileThreshold=5242880	
smallFileExecutorNum=64	
bigFileExecutorNum=8	
entireFileMd5Attached=on	
daemonMode=off	
daemonModeInterVal=60	
executeTimeWindow=00:00,24:00	
encryptionType=sse-cos
名称                                      描述默认值
secretId用户密钥 SecretId,请将COS_SECRETID替换为您的真实密钥信息。可前往 访问管理控制台 中的云 API 密钥页面查看获取-
secretKey用户密钥 SecretKey,请将COS_SECRETKEY替换为您的真实密钥信息。可前往 访问管理控制台 中的云 API 密钥页面查看获取-
bucketName目的 Bucket 的名称, 命名格式为 <BucketName-APPID>,即 Bucket 名必须包含 APPID,例如 examplebucket-1250000000-
region目的 Bucket 的 Region 信息。COS 的地域简称请参照 地域和访问域名-
storageClass存储类型:Standard(标准存储),Standard_IA(低频存储),Archive(归档存储)Standard
cosPath要迁移到的 COS 路径。/表示迁移到 Bucket 的根路径下,/folder/doc/表示要迁移到 Bucket的/folder/doc/ 下,若 /folder/doc/ 不存在,则会自动创建路径/
https是否使用 HTTPS 传输:on 表示开启,off 表示关闭。开启传输速度较慢,适用于对传输安全要求高的场景off
tmpFolder从其他云存储迁移至 COS 的过程中,用于存储临时文件的目录,迁移完成后会删除。要求格式为绝对路径:
Linux 下分隔符为单斜杠,如/a/b/c 
Windows 下分隔符为两个反斜杠,如E:\\a\\b\\c
默认为工具所在路径下的 tmp 目录
./tmp
smallFileThreshold小文件阈值的字节,大于等于这个阈值使用分块上传,否则使用简单上传,默认5MB5242880
smallFileExecutorNum小文件(文件小于 smallFileThreshold)的并发度,使用简单上传。如果是通过外网来连接 COS,且带宽较小,请减小该并发度64
bigFileExecutorNum大文件(文件大于等于 smallFileThreshold)的并发度,使用分块上传。如果是通过外网来连接 COS,且带宽较小,请减小该并发度8
entireFileMd5Attached表示迁移工具将全文的 MD5 计算后,存入文件的自定义头部 x-cos-meta-md5 中,用于后续的校验,因为 COS 的分块上传的大文件的 etag 不是全文的 MD5on
daemonMode是否启用 daemon 模式:on 表示开启,off 表示关闭。daemon 表示程序会循环不停的去执行同步,每一轮同步的间隔由 daemonModeInterVal 参数设置off
daemonModeInterVal表示每一轮同步结束后,多久进行下一轮同步,单位为秒60
executeTimeWindow执行时间窗口,时刻粒度为分钟,该参数定义迁移工具每天执行的时间段。例如:
参数 03:30,21:00,表示在凌晨 03:30 到晚上 21:00 之间执行任务,其他时间则会进入休眠状态,休眠态暂停迁移并会保留迁移进度, 直到下一个时间窗口自动继续执行
00:00,24:00
encryptionType表示使用 sse-cos 服务端加密默认不填,需要服务端加密时填写
secretKey用户密钥 SecretKey,请将COS_SECRETKEY替换为您的真实密钥信息。可前往 访问管理控制台 中的云 API 密钥页面查看获取-
bucketName目的 Bucket 的名称, 命名格式为 <BucketName-APPID>,即 Bucket 名必须包含 APPID,例如 examplebucket-1250000000-
region目的 Bucket 的 Region 信息。COS 的地域简称请参照 地域和访问域名-
storageClass存储类型:Standard(标准存储),Standard_IA(低频存储),Archive(归档存储)Standard
cosPath要迁移到的 COS 路径。/表示迁移到 Bucket 的根路径下,/folder/doc/表示要迁移到 Bucket的/folder/doc/ 下,若 /folder/doc/ 不存在,则会自动创建路径/
https是否使用 HTTPS 传输:on 表示开启,off 表示关闭。开启传输速度较慢,适用于对传输安全要求高的场景off
tmpFolder从其他云存储迁移至 COS 的过程中,用于存储临时文件的目录,迁移完成后会删除。要求格式为绝对路径:
Linux 下分隔符为单斜杠,如/a/b/c 
Windows 下分隔符为两个反斜杠,如E:\\a\\b\\c
默认为工具所在路径下的 tmp 目录
./tmp
smallFileThreshold小文件阈值的字节,大于等于这个阈值使用分块上传,否则使用简单上传,默认5MB5242880
smallFileExecutorNum小文件(文件小于 smallFileThreshold)的并发度,使用简单上传。如果是通过外网来连接 COS,且带宽较小,请减小该并发度64
bigFileExecutorNum大文件(文件大于等于 smallFileThreshold)的并发度,使用分块上传。如果是通过外网来连接 COS,且带宽较小,请减小该并发度8
entireFileMd5Attached表示迁移工具将全文的 MD5 计算后,存入文件的自定义头部 x-cos-meta-md5 中,用于后续的校验,因为 COS 的分块上传的大文件的 etag 不是全文的 MD5on
daemonMode是否启用 daemon 模式:on 表示开启,off 表示关闭。daemon 表示程序会循环不停的去执行同步,每一轮同步的间隔由 daemonModeInterVal 参数设置off
daemonModeInterVal表示每一轮同步结束后,多久进行下一轮同步,单位为秒60
executeTimeWindow执行时间窗口,时刻粒度为分钟,该参数定义迁移工具每天执行的时间段。例如:
参数 03:30,21:00,表示在凌晨 03:30 到晚上 21:00 之间执行任务,其他时间则会进入休眠状态,休眠态暂停迁移并会保留迁移进度, 直到下一个时间窗口自动继续执行
00:00,24:00
encryptionType表示使用 sse-cos 服务端加密默认不填,需要服务端加密时填写
3.3 配置数据源信息

根据[migrateType]的迁移类型配置相应的分节。例如[migrateType]的配置内容是type=migrateLocal, 则用户只需配置[migrateLocal]分节即可。

3.3.1 配置本地数据源 migrateLocal

若从本地迁移至 COS,则进行该部分配置,具体配置项及说明如下:

# 从本地迁移到 COS 配置分节	
[migrateLocal]	
localPath=E:\\code\\java\\workspace\\cos_migrate_tool\\test_data	
exeludes=	
ignoreModifiedTimeLessThanSeconds=
配置项                                          描述
localPath本地路径,要求格式为绝对路径:
Linux 下分隔符为单斜杠,如/a/b/c 
Windows 下分隔符为两个反斜杠,例如 E:\\a\\b\\c
excludes要排除的目录或者文件的绝对路径,表示将 localPath 下面某些目录或者文件不进行迁移,多个绝对路径之前用分号分割,不填表示 localPath 下面的全部迁移
ignoreModifiedTimeLessThanSeconds排除更新时间与当前时间相差不足一定时间段的文件,单位为秒,默认不设置,表示不根据 lastmodified 时间进行筛选,适用于客户在更新文件的同时又在运行迁移工具,并要求不把正在更新的文件迁移上传到 COS,例如设置为300,表示只上传更新了5分钟以上的文件

3.3.2 配置阿里 OSS 数据源 migrateAli

若从阿里云 OSS 迁移至 COS,则进行该部分配置,具体配置项及说明如下:

# 从阿里 OSS 迁移到 COS 配置分节	
[migrateAli]	
bucket=bucket-aliyun	
accessKeyId=yourAccessKeyId	
accessKeySecret=yourAccessKeySecret	
endPoint= oss-cn-hangzhou.aliyuncs.com	
prefix=	
proxyHost=	
proxyPort=
配置项描述
bucket阿里云 OSS Bucket 名称
accessKeyId将 yourAccessKeyId 替换为用户的密钥
accessKeySecret将 yourAccessKeySecret 替换为用户的密钥
endPoint阿里云 endpoint 地址
prefix要迁移的路径的前缀,如果是迁移 Bucket 下所有的数据, 则 prefix 为空
proxyHost如果要使用代理进行访问,则填写代理 IP 地址
proxyPort代理的端口

3.3.3 配置 AWS 数据源 migrateAws

若从 AWS 迁移至 COS,则进行该部分配置,具体配置项及说明如下:

# 从 AWS 迁移到 COS 配置分节	
[migrateAws]	
bucket=bucket-aws	
accessKeyId=AccessKeyId	
accessKeySecret=SecretAccessKey	
endPoint=s3.us-east-1.amazonaws.com	
prefix=	
proxyHost=	
proxyPort=
配置项描述
bucketAWS 对象存储 Bucket 名称
accessKeyId将 AccessKeyId 替换为用户的密钥
accessKeySecret将 SecretAccessKey 替换为用户的密钥
endPointAWS 的 endpoint 地址,必须使用域名,不能使用 region
prefix要迁移的路径的前缀,如果是迁移 Bucket 下所有的数据,则 prefix 为空
proxyHost如果要使用代理进行访问,则填写代理 IP 地址
proxyPort代理的端口

3.3.4 配置七牛数据源 migrateQiniu

若从七牛迁移至 COS,则进行该部分配置,具体配置项及说明如下:

# 从七牛迁移到COS配置分节	
[migrateQiniu]	
bucket=bucket-qiniu	
accessKeyId=AccessKey	
accessKeySecret=SecretKey	
endPoint=www.bkt.clouddn.com	
prefix=	
proxyHost=	
proxyPort=
配置项描述
bucket七牛对象存储 Bucket 名称
accessKeyId将 AccessKey 替换为用户的密钥
accessKeySecret将 SecretKey 替换为用户的密钥
endPoint七牛下载地址,对应 downloadDomain
prefix要迁移的路径的前缀,如果是迁移 Bucket 下所有的数据,则 prefix 为空
proxyHost如果要使用代理进行访问,则填写代理 IP 地址
proxyPort代理的端口

3.3.5 配置 URL 列表数据源 migrateUrl

若从指定 URL 列表迁移至 COS,则进行该部分配置,具体配置项及说明如下:

# 从 URL 列表下载迁移到 COS 配置分节	
[migrateUrl]	
urllistPath=D:\\folder\\urllist.txt
配置项描述
urllistPathURL 列表的地址,内容为 URL 文本,一行一条 URL 原始地址(如 http://aaa.bbb.com/yyy/zzz.txt,无需添加任何双引号或其他符号)。URL 列表的地址要求为绝对路径:
Linux 下分隔符为单斜杠,如 /a/b/c.txt 
Windows 下分隔符为两个反斜杠,例如E:\\a\\b\\c.txt
如果填写的是目录,则会将该目录下的所有文件视为 urllist 文件去扫描迁移

3.3.6 配置 Bucket 相互复制 migrateBucketCopy

若从 COS 的一个指定 Bucket 迁移至另一个 Bucket,则进行该部分配置,具体配置项及说明如下:

# 从源 Bucket 迁移到目标 Bucket 配置分节	
[migrateBucketCopy]	
srcRegion=ap-shanghai	
srcBucketName=examplebucket-1250000000	
srcSecretId=COS_SECRETID	
srcSecretKey=COS_SECRETKEY	
srcCosPath=/

配置项描述
srcRegion源 Bucket 的 Region 信息。
srcBucketName源 Bucket 的名称,命名格式为 <BucketName-APPID>,即 Bucket 名必须包含 APPID,例如 examplebucket-1250000000
srcSecretId源 Bucket 隶属的用户的密钥 SecretId,可在云 API 密钥 查看。如果是同一用户的数据,则 srcSecretId 和 common 中的 SecretId 相同,否则是跨账号 Bucket 拷贝
srcSecretKey源 Bucket 隶属的用户的密钥 secret_key,可在 云 API 密钥 查看。如果是同一用户的数据,则 srcSecretKey 和 common 中的 secretKey 相同,否则是跨账号 Bucket 拷贝
srcCosPath要迁移的 COS 路径,表示该路径下的文件要迁移至目标 Bucket

4. 运行迁移工具

Windows

双击 start_migrate.bat 即可运行。

Linux

1.从 config.ini 配置文件读入配置,运行命令为:

sh start_migrate.sh

2.部分参数从命令行读入配置,运行命令为:

sh start_migrate.sh -Dcommon.cosPath=/savepoint0403_10/
说明:
  • 工具支持配置项读取方式有两种:命令行读取或配置文件读取。
  • 命令行优先级高于配置文件,即相同配置选项会优先采用命令行里的参数。
  • 命令行中读取配置项的形式方便用户同时运行不同的迁移任务,但前提是两次任务中的关键配置项不完全一样,例如 Bucket 名称,COS 路径,要迁移的源路径等。因为不同的迁移任务写入的是不同的 db 目录,可以保证并发迁移。请参照前文中的工具结构中的 db 信息。
  • 配置项的形式为 -D{sectionName}.{sectionKey}={sectionValue} 的形式。其中 sectionName 是配置文件的分节名称,sectionKey 表示分节中配置项名称,sectionValue 表示分节中配置项值。如设置要迁移到的 COS 路径,则以 -Dcommon.cosPath=/bbb/ddd 表示。
迁移机制及流程

迁移机制原理

COS 迁移工具是有状态的,已经迁移成功的会记录在 db 目录下,以 KV 的形式存储在 leveldb 文件中。每次迁移前对要迁移的路径,先查找下 db 中是否存在, 如果存在,且属性和 db 中存在的一致, 则跳过迁移,否则进行迁移。这里的属性根据迁移类型的不同而不同,对于本地迁移,会判断 mtime。对于其他云存储迁移与 Bucket 复制,会判断源文件的 etag 和长度是否与 db 一致。因此,我们参照 db 中是否有过迁移成功的记录,而不是查找 COS,如果绕过了迁移工具,通过别的方式(如 COSCMD 或者控制台)删除修改了文件,那么运行迁移工具由于不会察觉到这种变化,是不会重新迁移的。

迁移流程步骤

1.读取配置文件,根据迁移 type,读取响应的配置分节,并执行参数的检查。

2.根据指定的迁移类型,扫描对比 db 下对所要迁移文件的标识,判断是否允许上传。

3.迁移执行过程中会打印执行结果,其中 inprogress 表示迁移中,skip 表示跳过,fail 表示失败,ok 表示成功, condition_not_match 表示因为表示因不满足迁移条件而跳过的文件(如 lastmodifed 和 excludes)。失败的详细信息可以在 log 的 error 日志中查看。执行过程示意图如下图所示:640?wx_fmt=png

4.整个迁移结束后会打印统计信息,包括累积的迁移成功量,失败量,跳过量,耗时。对于失败的情况,请查看 error 日志,或重新运行,因为迁移工具会跳过已迁移成功的,对未成功的会重新迁移。运行完成结果示意图如下图所示:640?wx_fmt=png

● 文章经审核筛选发布;

● 奖励丰富的各种鹅厂福利;

这篇关于如何将本地数迁移至腾讯云之一工具篇 - COS Migration的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/839362

相关文章

基于Python开发一个图像水印批量添加工具

《基于Python开发一个图像水印批量添加工具》在当今数字化内容爆炸式增长的时代,图像版权保护已成为创作者和企业的核心需求,本方案将详细介绍一个基于PythonPIL库的工业级图像水印解决方案,有需要... 目录一、系统架构设计1.1 整体处理流程1.2 类结构设计(扩展版本)二、核心算法深入解析2.1 自

MySQL 迁移至 Doris 最佳实践方案(最新整理)

《MySQL迁移至Doris最佳实践方案(最新整理)》本文将深入剖析三种经过实践验证的MySQL迁移至Doris的最佳方案,涵盖全量迁移、增量同步、混合迁移以及基于CDC(ChangeData... 目录一、China编程JDBC Catalog 联邦查询方案(适合跨库实时查询)1. 方案概述2. 环境要求3.

Python办公自动化实战之打造智能邮件发送工具

《Python办公自动化实战之打造智能邮件发送工具》在数字化办公场景中,邮件自动化是提升工作效率的关键技能,本文将演示如何使用Python的smtplib和email库构建一个支持图文混排,多附件,多... 目录前言一、基础配置:搭建邮件发送框架1.1 邮箱服务准备1.2 核心库导入1.3 基础发送函数二、

基于Python实现一个图片拆分工具

《基于Python实现一个图片拆分工具》这篇文章主要为大家详细介绍了如何基于Python实现一个图片拆分工具,可以根据需要的行数和列数进行拆分,感兴趣的小伙伴可以跟随小编一起学习一下... 简单介绍先自己选择输入的图片,默认是输出到项目文件夹中,可以自己选择其他的文件夹,选择需要拆分的行数和列数,可以通过

Python使用pip工具实现包自动更新的多种方法

《Python使用pip工具实现包自动更新的多种方法》本文深入探讨了使用Python的pip工具实现包自动更新的各种方法和技术,我们将从基础概念开始,逐步介绍手动更新方法、自动化脚本编写、结合CI/C... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核

Python使用OpenCV实现获取视频时长的小工具

《Python使用OpenCV实现获取视频时长的小工具》在处理视频数据时,获取视频的时长是一项常见且基础的需求,本文将详细介绍如何使用Python和OpenCV获取视频时长,并对每一行代码进行深入解析... 目录一、代码实现二、代码解析1. 导入 OpenCV 库2. 定义获取视频时长的函数3. 打开视频文

Linux中压缩、网络传输与系统监控工具的使用完整指南

《Linux中压缩、网络传输与系统监控工具的使用完整指南》在Linux系统管理中,压缩与传输工具是数据备份和远程协作的桥梁,而系统监控工具则是保障服务器稳定运行的眼睛,下面小编就来和大家详细介绍一下它... 目录引言一、压缩与解压:数据存储与传输的优化核心1. zip/unzip:通用压缩格式的便捷操作2.

一文详解Git中分支本地和远程删除的方法

《一文详解Git中分支本地和远程删除的方法》在使用Git进行版本控制的过程中,我们会创建多个分支来进行不同功能的开发,这就容易涉及到如何正确地删除本地分支和远程分支,下面我们就来看看相关的实现方法吧... 目录技术背景实现步骤删除本地分支删除远程www.chinasem.cn分支同步删除信息到其他机器示例步骤

sqlite3 命令行工具使用指南

《sqlite3命令行工具使用指南》本文系统介绍sqlite3CLI的启动、数据库操作、元数据查询、数据导入导出及输出格式化命令,涵盖文件管理、备份恢复、性能统计等实用功能,并说明命令分类、SQL语... 目录一、启动与退出二、数据库与文件操作三、元数据查询四、数据操作与导入导出五、查询输出格式化六、实用功

前端如何通过nginx访问本地端口

《前端如何通过nginx访问本地端口》:本文主要介绍前端如何通过nginx访问本地端口的问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、nginx安装1、下载(1)下载地址(2)系统选择(3)版本选择2、安装部署(1)解压(2)配置文件修改(3)启动(4)