本文主要是介绍MiniKube EFK日志监控平台，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
MiniKube EFK日志监控平台
- EFK日志监控平台部署架构
- DaemonSet - Fluentd
- EFK安装
- YAML 文件准备
- 发布顺序及命令
参考MiniKube安装准备环境。
EFK日志监控平台部署架构
EFK，集中式的日志监控平台。Elasticsearch, Fluentd, Kibana三个组件的首字母构成它的名字。
- Elasticsearch，分布式的搜索引擎系统，简称ES。可以用于日志数据的集中存储和检索。
- Fluentd，日志采集组件，可以实现日志数据的采集，装饰，转换和传输等功能。
- Kibana，是基于ES的日志查询展示界面，也可以做基于ES的性能分析，或者大数据分析和展示。
如果要对K8S的Pod，容器采集日志，那么我们需要在K8S集群的每个节点上都部署一个fluentd的pod。发布形式为DaemonSet。
fluentd负责采集节点上所有容器产生的日志。具体要采集哪个日志，可以通过fluentd的配置文件进行配置。
fluentd采集好日志后，会定期传到elasticsearch集群的端点，elasticsearch会将日志集中存储并且根据配置建立反向索引。
然后开发，运维人员可以通过Kibana界面，集中的查询和分析日志。
如果要对fluentd的监控日志目标进行配置，可以通过configmap这种方式来实现，运维人员可以通过configmap可以定制fluentd的日志采集配置文件，然后发布到K8S环境。
fluentd的Pod可以通过持久卷的形式挂载configmap中的配置文件。就是说，可以通过configmap，运维人员可以动态发布和更新fluentd的配置文件。这种更新可以实时生效。需要重启fluentd的Pod。
实际企业生产环境，kibana和elasticsearch不会部署在K8S当中。另外，在实际生产环境中，企业级日志分析平台EFK架构中，在fluentd与elasticsearch之间，还有一套kafka队列来做缓冲，在数据量大的时候，可以解决ES性能跟不上的问题。ES建反向索引是比较耗资源的，而且比较慢，数据量大的时候，ES可能会跟不上。有了kafka缓冲之后，后台ES,Kibana升级维护就会比较容易。
DaemonSet - Fluentd
DaemonSet是与ReplicaSet对应的概念。不同之处是daemonSet会在K8S所有节点上，都部署一个pod。
K8S DaemonSet机制会保证，每个节点上都有一个pod可用。如果一个Pod挂了，daemonSet会自动重启。
EFK安装
MiniKube本身是有EFK Addon的。但是本实验打算有发布文件的形式搞一搞。
可以用以下命令查看：
minikube addons list
[ryan@lab3 ~]$ minikube addons list
|-----------------------------|----------|--------------|
| ADDON NAME | PROFILE | STATUS |
|-----------------------------|----------|--------------|
| ambassador | minikube | disabled |
| csi-hostpath-driver | minikube | disabled |
| dashboard | minikube | enabled ? |
| default-storageclass | minikube | enabled ? |
| efk | minikube | disabled |
| freshpod | minikube | disabled |
| gcp-auth | minikube | disabled |YAML 文件准备
- ns.yml 创建一个新的namespace，名字叫logging。ES，Kibana会发布到logging namespace当中。
- elastic.yml
- kibana.yml
- fluentd-rbac.yml, role based access control， 让fluentd有权限访问K8S的资源或者操作，获得容器的日志。
- fluentd-daemonset.yml
文件：ns.yml
apiVersion: v1
kind: Namespace
metadata:name: logging
文件：elastic.yml
apiVersion: apps/v1
kind: Deployment
metadata:name: elasticsearchnamespace: logging
spec:selector:matchLabels:component: elasticsearchtemplate:metadata:labels:component: elasticsearchspec:containers:- name: elasticsearchimage: docker.elastic.co/elasticsearch/elasticsearch:6.8.13env:- name: discovery.typevalue: single-nodeports:- containerPort: 9200name: httpprotocol: TCPresources:limits:cpu: 500mmemory: 2Girequests:cpu: 500mmemory: 2Gi
---
apiVersion: v1
kind: Service
metadata:name: elasticsearchnamespace: logginglabels:service: elasticsearch
spec:type: NodePortselector:component: elasticsearchports:- port: 9200targetPort: 9200nodePort: 31200
文件：kibana.yml
apiVersion: apps/v1
kind: Deployment
metadata:name: kibananamespace: logging
spec:selector:matchLabels:run: kibanatemplate:metadata:labels:run: kibanaspec:containers:- name: kibanaimage: docker.elastic.co/kibana/kibana:6.8.13env:- name: ELASTICSEARCH_URLvalue: http://elasticsearch:9200- name: XPACK_SECURITY_ENABLEDvalue: "false"ports:- containerPort: 5601name: httpprotocol: TCP
---
apiVersion: v1
kind: Service
metadata:name: kibananamespace: logginglabels:service: kibana
spec:type: NodePortselector:run: kibanaports:- port: 5601targetPort: 5601nodePort: 31601
文件：fluentd-daemonset.yml
apiVersion: apps/v1
kind: DaemonSet
metadata:name: fluentdnamespace: kube-systemlabels:k8s-app: fluentd-loggingversion: v1kubernetes.io/cluster-service: "true"
spec:selector:matchLabels:k8s-app: fluentd-loggingversion: v1template:metadata:labels:k8s-app: fluentd-loggingversion: v1kubernetes.io/cluster-service: "true"spec:serviceAccount: fluentdserviceAccountName: fluentdtolerations:- key: node-role.kubernetes.io/mastereffect: NoSchedulecontainers:- name: fluentdimage: fluent/fluentd-kubernetes-daemonset:v1-debian-elasticsearchenv:- name: FLUENT_ELASTICSEARCH_HOSTvalue: "elasticsearch.logging"- name: FLUENT_ELASTICSEARCH_PORTvalue: "9200"- name: FLUENT_ELASTICSEARCH_SCHEMEvalue: "http"- name: FLUENT_UIDvalue: "0"- name: FLUENTD_SYSTEMD_CONFvalue: disableresources:limits:memory: 200Mirequests:cpu: 100mmemory: 200MivolumeMounts:- name: varlogmountPath: /var/log- name: varlibdockercontainersmountPath: /var/lib/docker/containersreadOnly: trueterminationGracePeriodSeconds: 30volumes:- name: varloghostPath:path: /var/log- name: varlibdockercontainershostPath:path: /var/lib/docker/containers
文件：fluentd-rbac.yml
rbac: role based access control
apiVersion: v1
kind: ServiceAccount
metadata:name: fluentdnamespace: kube-system
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:name: fluentdnamespace: kube-system
rules:- apiGroups:- ""resources:- pods- namespacesverbs:- get- list- watch
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:name: fluentd
roleRef:kind: ClusterRolename: fluentdapiGroup: rbac.authorization.k8s.io
subjects:- kind: ServiceAccountname: fluentdnamespace: kube-system
准备好5个文件之后，准备发布。
[ryan@lab3 efk_deploy]$ ll
total 20
-rw-rw-r--. 1 ryan ryan 964 Jan 6 01:48 elastic.yml
-rw-rw-r--. 1 ryan ryan 1657 Jan 6 01:50 fluentd-daemonset.yml
-rw-rw-r--. 1 ryan ryan 600 Jan 6 01:51 fluentd.rbac.yml
-rw-rw-r--. 1 ryan ryan 809 Jan 6 01:48 kibana.yml
-rw-rw-r--. 1 ryan ryan 57 Jan 6 01:47 ns.yml发布顺序及命令
发布命名空间
kubectl apply -f ns.yml
查看命名空间
kubectl get ns
发布elasticsearch，需要等一段时间才能就绪。
kubectl apply -f elastic.yml
查看刚发布的pod，在命名空间logging里面
kubectl get all -n logging
发布成功，看到status running.
[ryan@lab3 efk_deploy]$ kubectl get all -n logging
NAME READY STATUS RESTARTS AGE
pod/elasticsearch-848b5b7585-dgh8l 1/1 Running 0 15mNAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
service/elasticsearch NodePort 10.99.78.88 <none> 9200:31200/TCP 15mNAME READY UP-TO-DATE AVAILABLE AGE
deployment.apps/elasticsearch 1/1 1 1 15mNAME DESIRED CURRENT READY AGE
replicaset.apps/elasticsearch-848b5b7585 1 1 1 15m可以用下面命令查看minikube的service list。
minikube service list
发布Kibana，需要等一段时间才能就绪。
kubectl apply -f kibana.yml
查看成功：
[ryan@lab3 efk_deploy]$ kubectl get all -n logging
NAME READY STATUS RESTARTS AGE
pod/elasticsearch-848b5b7585-dgh8l 1/1 Running 0 36m
pod/kibana-5c7df47d47-dpjbc 1/1 Running 0 7m18sNAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
service/elasticsearch NodePort 10.99.78.88 <none> 9200:31200/TCP 36m
service/kibana NodePort 10.99.146.170 <none> 5601:31601/TCP 7m18sNAME READY UP-TO-DATE AVAILABLE AGE
deployment.apps/elasticsearch 1/1 1 1 36m
deployment.apps/kibana 1/1 1 1 7m18sNAME DESIRED CURRENT READY AGE
replicaset.apps/elasticsearch-848b5b7585 1 1 1 36m
replicaset.apps/kibana-5c7df47d47 1 1 1 7m18s发布fluentd K8S角色权限绑定
kubectl apply -f fluentd-rbac.yml
继续发布fluentd-daemonset
kubectl apply -f fluentd-daemonset.yml
查看POD状态：
kubectl get po -n kube-system
[ryan@lab3 efk_deploy]$ kubectl get po -n kube-system
NAME READY STATUS RESTARTS AGE
coredns-54d67798b7-2rdv2 1/1 Running 0 12h
etcd-minikube 1/1 Running 0 12h
fluentd-6jrkj 1/1 Running 0 2m19s
kube-apiserver-minikube 1/1 Running 0 12h
kube-controller-manager-minikube 1/1 Running 0 12h
kube-proxy-qwd7c 1/1 Running 0 12h
kube-scheduler-minikube 1/1 Running 0 12h
storage-provisioner 1/1 Running 1 12hminikube查看minikube node开启的服务端口：
可以发现，minikube node已经在监听服务端口了，kibana应该是可以访问了，但是centos没有装桌面gui怎么办。
minikube service list
[ryan@lab3 conf]$ minikube service list
|----------------------|---------------------------|--------------|---------------------------|
| NAMESPACE | NAME | TARGET PORT | URL |
|----------------------|---------------------------|--------------|---------------------------|
| default | kubernetes | No node port |
| kube-system | kube-dns | No node port |
| kubernetes-dashboard | dashboard-metrics-scraper | No node port |
| kubernetes-dashboard | kubernetes-dashboard | No node port |
| logging | elasticsearch | 9200 | http://192.168.49.2:31200 |
| logging | kibana | 5601 | http://192.168.49.2:31601 |筛选日志：
结构化：
我的centos虚拟机的IP是192.168.44.133。
centos上面装的minikube node的IP是192.168.49.2。
我们发布了nodeport service给kibana，ES容器，是为了将容器的服务端口映射到node上，所以在centos上应该是可以访问，192.168.49.2:31601的。但是由于centos没有桌面，你验证不了。：）如下图所示。
如果想要远程访问，需要配置nginx。不然在centos上装桌面，往下看看吧。：）
由于当前的环境太虚拟了，如下图所示：
我用nginx做了代理，然后在笔记本上可以访问了。请参考我下面的笔记，不用谢。
Nginx安装
Nginx配置
成功后，如下图所示。
这篇关于MiniKube EFK日志监控平台的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
