kubernetes存储（二）——Volumes配置管理

一 简单说明

1 卷

• Container 中的文件在磁盘上是临时存放的，这给 Container中运行的较重要的应用程序带来一些问题。问题之一是当容器崩溃时文件丢失。kubelet 会重新启动容器， 但容器会以干净的状态重启。第二个问题会在同一Pod 中运行多个容器并共享文件时出现。 Kubernetes （Volume） 这一抽象概念能够解决这两个问题。
• 容器中的文件在磁盘上是临时存放的，这给容器中运行的特殊应用程序带来一些问题。首先，当容器崩溃时，kubelet 将重新启动容器，容器中的文件将会丢失,因为容器会以干净的状态重建。其次，当在一个 Pod 中同时运行多个容器时，常常需要在这些容器之间共享文件。 Kubernetes 抽象出 Volume 对象来解决这两个问题
• Kubernetes 卷具有明确的生命周期,与包裹它的 Pod 相同。 因此，卷比 Pod 中运行的任何容器的存活期都长，在容器重新启动时数据也会得到保留。 当然，当一个 Pod 不再存在时，卷也将不再存在。也许更重要的是，Kubernetes 可以支持许多类型的卷，Pod 也能同时使用任意数量的卷。
• 卷不能挂载到其他卷，也不能与其他卷有硬链接。 Pod 中的每个容器必须独立地指定每个卷的挂载位置。

2 Kubernetes 支持下列类型的卷

• awsElasticBlockStore 、azureDisk、azureFile、cephfs、cinder、configMap、csi
• downwardAPI、emptyDir、fc (fibre channel)、flexVolume、flocker
• gcePersistentDisk、gitRepo (deprecated)、glusterfs、hostPath、iscsi、local、
• nfs、persistentVolumeClaim、projected、portworxVolume、quobyte、rbd
• scaleIO、secret、storageos、vsphereVolume

3 emptyDir卷

• 当 Pod 指定到某个节点上时，首先创建的是一个 emptyDir 卷，并且只要 Pod 在该节点上运行，卷就一直存在。 就像它的名称表示的那样，卷最初是空的。 尽管 Pod 中的容器挂载 emptyDir 卷的路径可能相同也可能不同，但是这些容器都可以读写 emptyDir 卷中相同的文件。 当 Pod 因为某些原因被从节点上删除时，emptyDir 卷中的数据也会永久删除。
• emptyDir 的使用场景：

缓存空间，例如基于磁盘的归并排序。
为耗时较长的计算任务提供检查点，以便任务能方便地从崩溃前状态恢复执行。
在 Web服务器容器服务数据时，保存内容管理器容器获取的文件

• 默认情况下， emptyDir 卷存储在支持该节点所使用的介质上；这里的介质可以是磁盘或 SSD 或网络存储，这取决于您的环境。 但是，您可以将 emptyDir.medium 字段设置为 “Memory”，以告诉 Kubernetes 为您安装 tmpfs（基于内存的文件系统）。 虽然 tmpfs 速度非常快，但是要注意它与磁盘不同。 tmpfs 在节点重启时会被清除，并且您所写入的所有文件都会计入容器的内存消耗，受容器内存限制约束。

二 创建卷

1 vol1.yaml

[root@server1 ~]# mkdir volumes
[root@server1 ~]# cd volumes/
[root@server1 volumes]# vim vol1.yaml
[root@server1 volumes]# cat vol1.yaml 
apiVersion: v1
kind: Pod
metadata:name: vol1
spec:containers:- image: busyboxname: vm1command: ["sleep", "300"]volumeMounts:- mountPath: /cachename: cache-volume- name: vm2image: nginxvolumeMounts:- mountPath: /usr/share/nginx/htmlname: cache-volumevolumes:- name: cache-volumeemptyDir:medium: MemorysizeLimit: 100Mi
[root@server1 volumes]# kubectl apply -f vol1.yaml 
pod/vol1 created
[root@server1 volumes]# kubectl exec vol1 -it sh
kubectl exec [POD] [COMMAND] is DEPRECATED and will be removed in a future version. Use kubectl exec [POD] -- [COMMAND] instead.
Defaulted container "vm1" out of: vm1, vm2
/ # dd if=/dev/zero of=/cache/bigfile bs=1M count=200
200+0 records in
200+0 records out
209715200 bytes (200.0MB) copied, 0.484423 seconds, 412.9MB/s
/ # cd cache/
/cache # du -h bigfile 
200.0M	bigfile
/cache # command terminated with exit code 137

可以看到文件超过sizeLimit，则一段时间后（1-2分钟）会被kubelet evict掉。之所以不是“立即”被evict，是因为kubelet是定期进行检查的，这里会有一个时间差。

emptydir缺点：
不能及时禁止用户使用内存。虽然过1-2分钟kubelet会将Pod挤出，但是这个时间内，其实对node还是有风险的；
影响kubernetes调度，因为empty dir并不涉及node的resources，这样会造成Pod“偷偷”使用了node的内存，但是调度器并不知晓；
用户不能及时感知到内存不可

2 host.yaml

hostPath 卷能将主机节点文件系统上的文件或目录挂载到您的 Pod 中。 虽然这不是大多数 Pod 需要的，但是它为一些应用程序提供了强大的逃生舱。

hostPath 的一些用法有：
运行一个需要访问 Docker 引擎内部机制的容器,挂载 /var/lib/docker 路径。
在容器中运行 cAdvisor 时，以 hostPath 方式挂载 /sys。
允许 Pod 指定给定的 hostPath 在运行 Pod 之前是否应该存在，是否应该创建以及应该以什么方式存在。

除了必需的 path 属性之外，用户可以选择性地为 hostPath 卷指定 type

[root@server1 volumes]# vim host.yaml
[root@server1 volumes]# cat host.yaml 
apiVersion: v1
kind: Pod
metadata:name: test-pd
spec:containers:- image: nginxname: test-containervolumeMounts:- mountPath: /test-pdname: test-volumevolumes:- name: test-volumehostPath:path: /datatype: DirectoryOrCreate[root@server1 volumes]# kubectl apply -f host.yaml 
pod/test-pd created
[root@server1 volumes]# kubectl get pod -o wide
NAME                       READY   STATUS    RESTARTS   AGE     IP               NODE      NOMINATED NODE   READINESS GATES
demo-5b4fc8bb88-5lt6g      1/1     Running   4          3d      10.244.179.71    server2   <none>           <none>
demo-5b4fc8bb88-whjwj      1/1     Running   4          3d      10.244.22.7      server4   <none>           <none>
replicaset-example-kgkh5   1/1     Running   4          2d23h   10.244.141.200   server3   <none>           <none>
test-pd                    1/1     Running   0          20s     10.244.22.14     server4   <none>           <none>
vol1                       0/2     Evicted   0          5m21s   <none>           server4   <none>           <none>

当使用这种类型的卷时要小心，因为：

• 具有相同配置（例如从 podTemplate 创建）的多个 Pod 会由于节点上文件的不同而在不同节点上有不同的行为。

• 当 Kubernetes 按照计划添加资源感知的调度时，这类调度机制将无法考虑由 hostPath 使用的资源。

• 基础主机上创建的文件或目录只能由 root 用户写入。您需要在 特权容器 中以 root身份运行进程，或者修改主机上的文件权限以便容器能够写入 hostPath 卷。

3 nfs.yaml

[root@server1 volumes]# vim nfs.yaml
[root@server1 volumes]# cat nfs.yaml 
apiVersion: v1
kind: Pod
metadata:name: test-pd
spec:containers:- image: nginxname: test-containervolumeMounts:- mountPath: /usr/share/nginx/htmlname: test-volumevolumes:- name: test-volumenfs:server: 172.25.7.1path: /mnt/nfs[root@server1 volumes]# showmount -e
Export list for server1:
/mnt/nfs *

在部署节点查看目录已经自动创建

[root@server4 ~]# cd /data/
[root@server4 data]# ls
[root@server4 data]# pwd
/data

三 持久卷（静态分配）

1 简介

PersistentVolume（持久卷，简称PV）是集群内，由管理员提供的网络存储的一部分。就像集群中的节点一样，PV也是集群中的一种资源。它也像Volume一样，是一种volume插件，但是它的生命周期却是和使用它的Pod相互独立的。PV这个API对象，捕获了诸如NFS、ISCSI、或其他云存储系统的实现细节。

PersistentVolumeClaim（持久卷声明，简称PVC）是用户的一种存储请求。它和Pod类似，Pod消耗Node资源，而PVC消耗PV资源。Pod能够请求特定的资源（如CPU和内存）。PVC能够请求指定的大小和访问的模式（可以被映射为一次读写或者多次只读）。

1.1 有两种PV提供的方式

• 静态PV：集群管理员创建多个PV，它们携带着真实存储的详细信息，这些存储对于集群用户是可用的。它们存在于Kubernetes API中，并可用于存储使用。
• 动态PV：当管理员创建的静态PV都不匹配用户的PVC时，集群可能会尝试专门地供给volume给PVC。这种供给基于StorageClass。

1.2 PVC与PV的绑定是一对一的映射。没找到匹配的PV，那么PVC会无限期得处于unbound未绑定状态。

1.3 使用

Pod使用PVC就像使用volume一样。集群检查PVC，查找绑定的PV，并映射PV给Pod。对于支持多种访问模式的PV，用户可以指定想用的模式。一旦用户拥有了一个PVC，并且PVC被绑定，那么只要用户还需要，PV就一直属于这个用户。用户调度Pod，通过在Pod的volume块中包含PVC来访问PV。

1.4 释放

当用户使用PV完毕后，他们可以通过API来删除PVC对象。当PVC被删除后，对应的PV就被认为是已经是“released”了，但还不能再给另外一个PVC使用。前一个PVC的属于还存在于该PV中，必须根据策略来处理掉。

1.5 回收

PV的回收策略告诉集群，在PV被释放之后集群应该如何处理该PV。当前，PV可以被Retained（保留）、 Recycled（再利用）或者Deleted（删除）。保留允许手动地再次声明资源。对于支持删除操作的PV卷，删除操作会从Kubernetes中移除PV对象，还有对应的外部存储（如AWS EBS，GCE PD，Azure Disk，或者Cinder volume）。动态供给的卷总是会被删除

2 创建NFS PV卷

[root@server1 volumes]# vim pv.yaml
[root@server1 volumes]# cat pv.yaml 
apiVersion: v1
kind: PersistentVolume
metadata:name: nfs-pv1
spec:capacity:storage: 1GivolumeMode: FilesystemaccessModes:- ReadWriteOncepersistentVolumeReclaimPolicy: RecyclestorageClassName: nfsnfs:path: /mnt/nfsserver: 172.25.7.1[root@server1 volumes]# kubectl apply -f pv.yaml 
persistentvolume/nfs-pv1 created
[root@server1 volumes]# kubectl get pv
NAME      CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM   STORAGECLASS   REASON   AGE
nfs-pv1   1Gi        RWO            Recycle          Available           nfs                     7s

3 创建PVC

[root@server1 volumes]# vim pvc.yaml
[root@server1 volumes]# cat pvc.yaml 
apiVersion: v1
kind: PersistentVolumeClaim
metadata:name: pvc1
spec:storageClassName: nfsaccessModes:- ReadWriteOnceresources:requests:storage: 1Gi[root@server1 volumes]# kubectl apply -f pvc.yaml 
persistentvolumeclaim/pvc1 created
[root@server1 volumes]# kubectl get pv
NAME      CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM          STORAGECLASS   REASON   AGE
nfs-pv1   1Gi        RWO            Recycle          Bound    default/pvc1   nfs                     108s
[root@server1 volumes]# kubectl get pvc
NAME   STATUS   VOLUME    CAPACITY   ACCESS MODES   STORAGECLASS   AGE
pvc1   Bound    nfs-pv1   1Gi        RWO            nfs            15s

4 Pod挂载PV

[root@server1 volumes]# vim pod.yaml
[root@server1 volumes]# cat pod.yaml 
apiVersion: v1
kind: Pod
metadata:name: test-pd
spec:containers:- image: nginxname: nginxvolumeMounts:- mountPath: /usr/share/nginx/htmlname: pv1volumes:- name: pv1persistentVolumeClaim:claimName: pvc1
[root@server1 volumes]# kubectl get pvc
NAME   STATUS   VOLUME    CAPACITY   ACCESS MODES   STORAGECLASS   AGE
pvc1   Bound    nfs-pv1   1Gi        RWO            nfs            3m30s
[root@server1 volumes]# kubectl get pv
NAME      CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM          STORAGECLASS   REASON   AGE
nfs-pv1   1Gi        RWO            Recycle          Bound    default/pvc1   nfs                     5m19s
[root@server1 volumes]# kubectl get pod -o wide
NAME                       READY   STATUS    RESTARTS   AGE    IP               NODE      NOMINATED NODE   READINESS GATES
demo-5b4fc8bb88-5lt6g      1/1     Running   4          3d1h   10.244.179.71    server2   <none>           <none>
demo-5b4fc8bb88-whjwj      1/1     Running   4          3d1h   10.244.22.7      server4   <none>           <none>
replicaset-example-kgkh5   1/1     Running   4          3d     10.244.141.200   server3   <none>           <none>
test-pd                    1/1     Running   0          64m    10.244.22.14     server4   <none>           <none