ceph RBD的导出导入和数据恢复

背景

K8S的pod使用pvc挂载ceph RBD块（不映射到目录）

ceph RBD数据恢复思路：

方法一：快照做文件备份，导入导出
1、为RBD image创建快照：rbd snap create
2、将快照导出成文件备份
（1）全量导出：rbd export
（2）增量导出：rbd export-diff
3、将备份文件导入为新的RBD image
（1）全量导入：rbd import（与 “全量导出” 相对应）
（2）增量导入：rbd import-diff（与 “增量导出” 相对应）
4、利用new RBD image替换old RBD image，实现数据的恢复
方法二：用rbd rollback方式恢复
（1）为RBD image创建快照：rbd snap create
（2）使用rbd rollback将快照恢复
执行完rbd rollback后，检查pod中的目录，数据并没有恢复。
猜想可能需要重新挂载image，于是将pv删除，再重建，但是pv重建报错数据丢失，无法重建。
疑问：rbd rollback应该怎么使用呢？

方法二 并未走通，本文介绍方法一的操作步骤

1、 创建快照

1、查看pod使用的哪个RBD image：pod → pvc → pv → RBD image

Source.VolumeAttributes.pool 是pool的名字
Source.VolumeAttributes.imageName是image的名字

bglab@node4:~/csz/rook/cluster/examples/kubernetes$ kubectl describe pv pvc-f761d767-a658-40a6-b841-b6f43256f904
Name:            pvc-f761d767-a658-40a6-b841-b6f43256f904
Labels:          <none>
Annotations:     pv.kubernetes.io/provisioned-by: rook-ceph.rbd.csi.ceph.com
Finalizers:      [kubernetes.io/pv-protection]
StorageClass:    rook-ceph-block
Status:          Bound
Claim:           default/busybox-pvc
Reclaim Policy:  Delete
Access Modes:    RWO
VolumeMode:      Filesystem
Capacity:        2Gi
Node Affinity:   <none>
Message:
Source:Type:              CSI (a Container Storage Interface (CSI) volume source)Driver:            rook-ceph.rbd.csi.ceph.comVolumeHandle:      0001-0009-rook-ceph-0000000000000002-387b2608-61f7-11eb-b9c5-0e28ddb26a3cReadOnly:          falseVolumeAttributes:      clusterID=rook-cephimageFeatures=layeringimageFormat=2imageName=csi-vol-387b2608-61f7-11eb-b9c5-0e28ddb26a3cjournalPool=replicapoolpool=replicapoolradosNamespace=storage.kubernetes.io/csiProvisionerIdentity=1611017763643-8081-rook-ceph.rbd.csi.ceph.com
Events:                <none>

2、 创建快照V1

（1）进入pod，在pod挂载对应RBD image的目录中，新增文件csz_ceph.txt

kubectl -n default exec -it deploy/csz-busybox-deployment sh
echo 'test' >> csz_ceph.txt

结果如下：

（2）创建快照v1

[root@rook-ceph-tools-6f5694c655-hzpj5 /]# rbd snap create replicapool/csi-vol-e31e16b6-6069-11eb-b9c5-0e28ddb26a3c@v1
[root@rook-ceph-tools-6f5694c655-hzpj5 /]#
[root@rook-ceph-tools-6f5694c655-hzpj5 /]# rbd snap ls replicapool/csi-vol-e31e16b6-6069-11eb-b9c5-0e28ddb26a3c
SNAPID  NAME  SIZE   PROTECTED  TIMESTAMP4  v1    2 GiB             Fri Jan 29 01:13:33 2021
[root@rook-ceph-tools-6f5694c655-hzpj5 /]# rbd showmapped
id  pool         namespace  image                                         snap  device
0   replicapool             csi-vol-e31e16b6-6069-11eb-b9c5-0e28ddb26a3c  -     /dev/rbd0

3、 创建快照V2

（1）进入pod，在pod挂载对应RBD image的目录中，新增文件aaa.txt

kubectl -n default exec -it deploy/csz-busybox-deployment sh
echo 'pretty girl' >> aaa.txt

结果如下：

（2）创建快照v2

[root@rook-ceph-tools-6f5694c655-hzpj5 /]# rbd snap create replicapool/csi-vol-e31e16b6-6069-11eb-b9c5-0e28ddb26a3c@v2
[root@rook-ceph-tools-6f5694c655-hzpj5 /]# rbd snap ls replicapool/csi-vol-e31e16b6-6069-11eb-b9c5-0e28ddb26a3c
SNAPID  NAME  SIZE   PROTECTED  TIMESTAMP4  v1    2 GiB             Fri Jan 29 01:13:33 20215  v2    2 GiB             Fri Jan 29 01:21:32 2021
[root@rook-ceph-tools-6f5694c655-hzpj5 /]#

4、创建快照V3

（1）进入pod，在pod挂载对应RBD image的目录中，新增文件aaa.txt

kubectl -n default exec -it deploy/csz-busybox-deployment sh
echo 'handsome boy' >> boy

结果如下：

（2）创建快照v3

[root@rook-ceph-tools-6f5694c655-hzpj5 /]# rbd snap create replicapool/csi-vol-e31e16b6-6069-11eb-b9c5-0e28ddb26a3c@v3
[root@rook-ceph-tools-6f5694c655-hzpj5 /]# rbd snap ls replicapool/csi-vol-e31e16b6-6069-11eb-b9c5-0e28ddb26a3c
SNAPID  NAME  SIZE   PROTECTED  TIMESTAMP4  v1    2 GiB             Fri Jan 29 01:13:33 20215  v2    2 GiB             Fri Jan 29 01:21:32 20216  v3    2 GiB             Fri Jan 29 01:22:31 2021

2、 将RBD image的快照导出成文件

2.1增量导出：rbd export-diff

#这个命令是导出了从开始创建image到快照v1那个时间点的差异数据，导出成本地文件csz-busybox-v1
[root@rook-ceph-tools-6f5694c655-hzpj5 /]# rbd export-diff replicapool/csi-vol-e31e16b6-6069-11eb-b9c5-0e28ddb26a3c@v1 csz-busybox-v1
Exporting image: 100% complete...done.
#这个命令是导出了从快照v1那个时间点到快照v3那个时间点的差异数据，导出成本地文件csz-busybox-v1-v3
[root@rook-ceph-tools-6f5694c655-hzpj5 /]# rbd export-diff replicapool/csi-vol-e31e16b6-6069-11eb-b9c5-0e28ddb26a3c@v3 --from-snap v1 csz-busybox-v1-v3
Exporting image: 100% complete...done.
#导出了从image创建到当前的时间点的差异数据，导出成本地文件csz-busybox-now（相当于 全量导出）
[root@rook-ceph-tools-6f5694c655-hzpj5 /]# rbd export-diff replicapool/csi-vol-e31e16b6-6069-11eb-b9c5-0e28ddb26a3c csz-busybox-now
Exporting image: 100% complete...done.
从image创建到当前的时间点的差异数据。

2.2 全量导出：rbd export

（1）进入pod，在pod挂载对应RBD image的目录中，新增文件aaa.txt

kubectl -n default exec -it deploy/csz-busybox-deployment sh
echo 'handsome boy1' >> boy1

结果如下：

（2）全量导出

[root@rook-ceph-tools-6f5694c655-hzpj5 /]# rbd export replicapool/csi-vol-e31e16b6-6069-11eb-b9c5-0e28ddb26a3c csz-busybox-full
Exporting image: 100% complete...done.

3、 快照导出的文件导入为新的RBD image

快照的恢复过程使用的是刚刚上面提到的备份到本地的那些文件.
现在假如想恢复到v3那个快照的时间点，那么可以用两个方法
方法1：直接基于v3的时间点的快照做恢复
方法2：直接基于v1的时间点的数据，和后面的增量的v1-v3数据(要按顺序导入)

3.1增量导入：rbd import-diff

#方法1：直接基于v3的时间点的快照做恢复
#首先随便创建一个image,名称大小都不限制，因为后面恢复的时候会覆盖掉大小的信息
[root@rook-ceph-tools-6f5694c655-hzpj5 /]# rbd create replicapool/resume-v1 --size 1    
[root@rook-ceph-tools-6f5694c655-hzpj5 /]# rbd import-diff csz-busybox-v3 replicapool/resume-v1                                          Importing image diff: 100% complete...done.
[root@rook-ceph-tools-6f5694c655-hzpj5 /]#
#方法2： 基于v1+ v1_v3数据恢复
#首先随便创建一个image,名称大小都不限制，因为后面恢复的时候会覆盖掉大小的信息
[root@rook-ceph-tools-6f5694c655-hzpj5 /]# rbd create replicapool/resume-v3 --size 1
[root@rook-ceph-tools-6f5694c655-hzpj5 /]# rbd import-diff csz-busybox-v1 replicapool/resume-v3
Importing image diff: 100% complete...done.
[root@rook-ceph-tools-6f5694c655-hzpj5 /]# rbd import-diff csz-busybox-v1-v3 replicapool/resume-v3

​ 实际项目当中就是，定期做快照，然后导出某个时间点快照的数据，然后导出增量的快照的数据，就可以了

3.2全量导入：rbd import

注：不用提前创建目标image，否则rbd import会报错

[root@rook-ceph-tools-6f5694c655-hzpj5 /]# rbd create replicapool/resume-full --size 1
[root@rook-ceph-tools-6f5694c655-hzpj5 /]# rbd import-diff csz-busybox-full replicapool/resume-full
rbd: invalid or unexpected diff banner
rbd: import-diff failed: (22) Invalid argument
[root@rook-ceph-tools-6f5694c655-hzpj5 /]#
[root@rook-ceph-tools-6f5694c655-hzpj5 /]#
[root@rook-ceph-tools-6f5694c655-hzpj5 /]# rbd import csz-busybox-full replicapool/resume-full
rbd: image creation failed
Importing image: 0% complete...failed.
rbd: import failed: 2021-01-29T02:11:56.790+0000 7fdfdcb4b500 -1 librbd: rbd image resume-full already exists
(17) File exists
[root@rook-ceph-tools-6f5694c655-hzpj5 /]# rbd import csz-busybox-full replicapool/resume-full1
Importing image: 100% complete...done.
[root@rook-ceph-tools-6f5694c655-hzpj5 /]#

四、如何利用这个
实际项目当中就是，定期做快照，然后导出某个时间点快照的数据，然后导出增量的快照的数据，就可以了，例如：
今天对所有的rbd的image做一个基础快照，然后导出这个快照的数据，然后从今天开始，每天晚上做一个快照，然后导出快照时间点之间的数据，这样每天导出来的就是一个增量的数据了，在做恢复的时候，就从第一个快照导入，然后按顺序导入增量的快照即可，也可以定期做一个快照，导出完整的快照数据，以防中间的增量快照漏了，然后就是要注意可以定期清理快照，如果是做备份的模式，在导入了快照数据后，也可以清理一些本地的数据，本地数据做异地机房复制的时候也可以做一下数据的压缩，来减少数据量的传输

客户端验证：将RBD image恢复到pod

思路：将新的image name重命名rename成原来的image name

删除旧的image

# Step1：停掉pod对image的使用
修改pod的yaml文件，将spec: replicas: 副本数改为0
# Step2：清空旧image的snapshots
[root@rook-ceph-tools-6f5694c655-hzpj5 /]# rbd snap purge replicapool/csi-vol-387b2608-61f7-11eb-b9c5-0e28ddb26a3c
Removing all snapshots: 100% complete...done.
# Step3：删除旧的image
[root@rook-ceph-tools-6f5694c655-hzpj5 /]# rbd rm replicapool/csi-vol-387b2608-61f7-11eb-b9c5-0e28ddb26a3c
Removing image: 100% complete...done.

将new image name重命名为old image name

[root@rook-ceph-tools-6f5694c655-hzpj5 /]# rbd rename replicapool/test-v3 replicapool/csi-vol-387b2608-61f7-11eb-b9c5-0e28ddb26a3c

启动pod

修改pod的yaml文件，将spec: replicas: 副本数由0改回原值

FAQ:

rbd 删除image时，报错“rbd: image has snapshots - these must be deleted with ‘rbd snap purge’ before the image can be removed”

[root@rook-ceph-tools-6f5694c655-hzpj5 /]# rbd rm replicapool/csi-vol-387b2608-61f7-11eb-b9c5-0e28ddb26a3c
Removing image: 0% complete...failed.
rbd: image has snapshots - these must be deleted with 'rbd snap purge' before the image can be removed.

解决方法：执行’rbd snap purge’删掉image相关snapshots

rbd 删除image时，报错“rbd: error: image still has watchers”

[root@rook-ceph-tools-6f5694c655-hzpj5 /]# rbd rm replicapool/csi-vol-6ee1b63a-6060-11eb-b9c5-0e28ddb26a3c
2021-01-29T06:22:09.698+0000 7fe4677fe700 -1 librbd::image::PreRemoveRequest: 0x55a645137470 check_image_watchers: image has watchers - not removing
Removing image: 0% complete...failed.
rbd: error: image still has watchers
This means the image is still open or the client using it crashed. Try again after closing/unmapping it or waiting 30s for the crashed client to timeout.

解决方法：删除使用image的pod（修改pod的yaml文件，将spec: replicas: 副本数改为0）