MiniKube EFK日志监控平台

2023-10-21 23:58
文章标签 平台 日志 监控 efk minikube

本文主要是介绍MiniKube EFK日志监控平台，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

MiniKube EFK日志监控平台

  • EFK日志监控平台部署架构
  • DaemonSet - Fluentd
  • EFK安装
    • YAML 文件准备
  • 发布顺序及命令

参考MiniKube安装准备环境。

EFK日志监控平台部署架构

EFK，集中式的日志监控平台。Elasticsearch, Fluentd, Kibana三个组件的首字母构成它的名字。

  • Elasticsearch，分布式的搜索引擎系统，简称ES。可以用于日志数据的集中存储和检索。
  • Fluentd，日志采集组件，可以实现日志数据的采集，装饰，转换和传输等功能。
  • Kibana，是基于ES的日志查询展示界面，也可以做基于ES的性能分析，或者大数据分析和展示。

在这里插入图片描述

如果要对K8S的Pod，容器采集日志，那么我们需要在K8S集群的每个节点上都部署一个fluentd的pod。发布形式为DaemonSet。

fluentd负责采集节点上所有容器产生的日志。具体要采集哪个日志，可以通过fluentd的配置文件进行配置。

fluentd采集好日志后，会定期传到elasticsearch集群的端点，elasticsearch会将日志集中存储并且根据配置建立反向索引。

然后开发，运维人员可以通过Kibana界面，集中的查询和分析日志。

如果要对fluentd的监控日志目标进行配置，可以通过configmap这种方式来实现，运维人员可以通过configmap可以定制fluentd的日志采集配置文件，然后发布到K8S环境。

fluentd的Pod可以通过持久卷的形式挂载configmap中的配置文件。就是说，可以通过configmap，运维人员可以动态发布和更新fluentd的配置文件。这种更新可以实时生效。需要重启fluentd的Pod。

实际企业生产环境，kibana和elasticsearch不会部署在K8S当中。另外，在实际生产环境中，企业级日志分析平台EFK架构中，在fluentd与elasticsearch之间，还有一套kafka队列来做缓冲，在数据量大的时候，可以解决ES性能跟不上的问题。ES建反向索引是比较耗资源的，而且比较慢，数据量大的时候，ES可能会跟不上。有了kafka缓冲之后，后台ES,Kibana升级维护就会比较容易。在这里插入图片描述

DaemonSet - Fluentd

DaemonSet是与ReplicaSet对应的概念。不同之处是daemonSet会在K8S所有节点上，都部署一个pod。

K8S DaemonSet机制会保证，每个节点上都有一个pod可用。如果一个Pod挂了，daemonSet会自动重启。

在这里插入图片描述

EFK安装

MiniKube本身是有EFK Addon的。但是本实验打算有发布文件的形式搞一搞。

可以用以下命令查看：

minikube addons list

[ryan@lab3 ~]$ minikube addons list
|-----------------------------|----------|--------------|
|         ADDON NAME          | PROFILE  |    STATUS    |
|-----------------------------|----------|--------------|
| ambassador                  | minikube | disabled     |
| csi-hostpath-driver         | minikube | disabled     |
| dashboard                   | minikube | enabled ?   |
| default-storageclass        | minikube | enabled ?   |
| efk                         | minikube | disabled     |
| freshpod                    | minikube | disabled     |
| gcp-auth                    | minikube | disabled     |

YAML 文件准备

  • ns.yml 创建一个新的namespace，名字叫logging。ES，Kibana会发布到logging namespace当中。
  • elastic.yml
  • kibana.yml
  • fluentd-rbac.yml, role based access control， 让fluentd有权限访问K8S的资源或者操作，获得容器的日志。
  • fluentd-daemonset.yml

文件：ns.yml

apiVersion: v1
kind: Namespace
metadata:name: logging

文件：elastic.yml

apiVersion: apps/v1
kind: Deployment
metadata:name: elasticsearchnamespace: logging
spec:selector:matchLabels:component: elasticsearchtemplate:metadata:labels:component: elasticsearchspec:containers:- name: elasticsearchimage: docker.elastic.co/elasticsearch/elasticsearch:6.8.13env:- name: discovery.typevalue: single-nodeports:- containerPort: 9200name: httpprotocol: TCPresources:limits:cpu: 500mmemory: 2Girequests:cpu: 500mmemory: 2Gi
---
apiVersion: v1
kind: Service
metadata:name: elasticsearchnamespace: logginglabels:service: elasticsearch
spec:type: NodePortselector:component: elasticsearchports:- port: 9200targetPort: 9200nodePort: 31200

文件：kibana.yml

apiVersion: apps/v1
kind: Deployment
metadata:name: kibananamespace: logging
spec:selector:matchLabels:run: kibanatemplate:metadata:labels:run: kibanaspec:containers:- name: kibanaimage: docker.elastic.co/kibana/kibana:6.8.13env:- name: ELASTICSEARCH_URLvalue: http://elasticsearch:9200- name: XPACK_SECURITY_ENABLEDvalue: "false"ports:- containerPort: 5601name: httpprotocol: TCP
---
apiVersion: v1
kind: Service
metadata:name: kibananamespace: logginglabels:service: kibana
spec:type: NodePortselector:run: kibanaports:- port: 5601targetPort: 5601nodePort: 31601

文件：fluentd-daemonset.yml

apiVersion: apps/v1
kind: DaemonSet
metadata:name: fluentdnamespace: kube-systemlabels:k8s-app: fluentd-loggingversion: v1kubernetes.io/cluster-service: "true"
spec:selector:matchLabels:k8s-app: fluentd-loggingversion: v1template:metadata:labels:k8s-app: fluentd-loggingversion: v1kubernetes.io/cluster-service: "true"spec:serviceAccount: fluentdserviceAccountName: fluentdtolerations:- key: node-role.kubernetes.io/mastereffect: NoSchedulecontainers:- name: fluentdimage: fluent/fluentd-kubernetes-daemonset:v1-debian-elasticsearchenv:- name: FLUENT_ELASTICSEARCH_HOSTvalue: "elasticsearch.logging"- name: FLUENT_ELASTICSEARCH_PORTvalue: "9200"- name: FLUENT_ELASTICSEARCH_SCHEMEvalue: "http"- name: FLUENT_UIDvalue: "0"- name: FLUENTD_SYSTEMD_CONFvalue: disableresources:limits:memory: 200Mirequests:cpu: 100mmemory: 200MivolumeMounts:- name: varlogmountPath: /var/log- name: varlibdockercontainersmountPath: /var/lib/docker/containersreadOnly: trueterminationGracePeriodSeconds: 30volumes:- name: varloghostPath:path: /var/log- name: varlibdockercontainershostPath:path: /var/lib/docker/containers

文件：fluentd-rbac.yml

rbac: role based access control

apiVersion: v1
kind: ServiceAccount
metadata:name: fluentdnamespace: kube-system
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:name: fluentdnamespace: kube-system
rules:- apiGroups:- ""resources:- pods- namespacesverbs:- get- list- watch
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:name: fluentd
roleRef:kind: ClusterRolename: fluentdapiGroup: rbac.authorization.k8s.io
subjects:- kind: ServiceAccountname: fluentdnamespace: kube-system

准备好5个文件之后，准备发布。

[ryan@lab3 efk_deploy]$ ll
total 20
-rw-rw-r--. 1 ryan ryan  964 Jan  6 01:48 elastic.yml
-rw-rw-r--. 1 ryan ryan 1657 Jan  6 01:50 fluentd-daemonset.yml
-rw-rw-r--. 1 ryan ryan  600 Jan  6 01:51 fluentd.rbac.yml
-rw-rw-r--. 1 ryan ryan  809 Jan  6 01:48 kibana.yml
-rw-rw-r--. 1 ryan ryan   57 Jan  6 01:47 ns.yml

发布顺序及命令

发布命名空间

kubectl apply -f ns.yml

查看命名空间

kubectl get ns

发布elasticsearch，需要等一段时间才能就绪。

kubectl apply -f elastic.yml

查看刚发布的pod，在命名空间logging里面

kubectl get all -n logging

发布成功，看到status running.

[ryan@lab3 efk_deploy]$ kubectl get all -n logging
NAME                                 READY   STATUS    RESTARTS   AGE
pod/elasticsearch-848b5b7585-dgh8l   1/1     Running   0          15mNAME                    TYPE       CLUSTER-IP    EXTERNAL-IP   PORT(S)          AGE
service/elasticsearch   NodePort   10.99.78.88   <none>        9200:31200/TCP   15mNAME                            READY   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/elasticsearch   1/1     1            1           15mNAME                                       DESIRED   CURRENT   READY   AGE
replicaset.apps/elasticsearch-848b5b7585   1         1         1       15m

可以用下面命令查看minikube的service list。

minikube service list

发布Kibana，需要等一段时间才能就绪。

kubectl apply -f kibana.yml

查看成功：

[ryan@lab3 efk_deploy]$ kubectl get all -n logging
NAME                                 READY   STATUS    RESTARTS   AGE
pod/elasticsearch-848b5b7585-dgh8l   1/1     Running   0          36m
pod/kibana-5c7df47d47-dpjbc          1/1     Running   0          7m18sNAME                    TYPE       CLUSTER-IP      EXTERNAL-IP   PORT(S)          AGE
service/elasticsearch   NodePort   10.99.78.88     <none>        9200:31200/TCP   36m
service/kibana          NodePort   10.99.146.170   <none>        5601:31601/TCP   7m18sNAME                            READY   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/elasticsearch   1/1     1            1           36m
deployment.apps/kibana          1/1     1            1           7m18sNAME                                       DESIRED   CURRENT   READY   AGE
replicaset.apps/elasticsearch-848b5b7585   1         1         1       36m
replicaset.apps/kibana-5c7df47d47          1         1         1       7m18s

发布fluentd K8S角色权限绑定

kubectl apply -f fluentd-rbac.yml

继续发布fluentd-daemonset

kubectl apply -f fluentd-daemonset.yml

查看POD状态：

kubectl get po -n kube-system

[ryan@lab3 efk_deploy]$ kubectl get po -n kube-system
NAME                               READY   STATUS    RESTARTS   AGE
coredns-54d67798b7-2rdv2           1/1     Running   0          12h
etcd-minikube                      1/1     Running   0          12h
fluentd-6jrkj                      1/1     Running   0          2m19s
kube-apiserver-minikube            1/1     Running   0          12h
kube-controller-manager-minikube   1/1     Running   0          12h
kube-proxy-qwd7c                   1/1     Running   0          12h
kube-scheduler-minikube            1/1     Running   0          12h
storage-provisioner                1/1     Running   1          12h

minikube查看minikube node开启的服务端口：
可以发现，minikube node已经在监听服务端口了，kibana应该是可以访问了，但是centos没有装桌面gui怎么办。

minikube service list

[ryan@lab3 conf]$ minikube service list
|----------------------|---------------------------|--------------|---------------------------|
|      NAMESPACE       |           NAME            | TARGET PORT  |            URL            |
|----------------------|---------------------------|--------------|---------------------------|
| default              | kubernetes                | No node port |
| kube-system          | kube-dns                  | No node port |
| kubernetes-dashboard | dashboard-metrics-scraper | No node port |
| kubernetes-dashboard | kubernetes-dashboard      | No node port |
| logging              | elasticsearch             |         9200 | http://192.168.49.2:31200 |
| logging              | kibana                    |         5601 | http://192.168.49.2:31601 |

筛选日志：
在这里插入图片描述

结构化：
在这里插入图片描述
我的centos虚拟机的IP是192.168.44.133。
centos上面装的minikube node的IP是192.168.49.2。
我们发布了nodeport service给kibana，ES容器，是为了将容器的服务端口映射到node上，所以在centos上应该是可以访问，192.168.49.2:31601的。但是由于centos没有桌面，你验证不了。：）如下图所示。

如果想要远程访问，需要配置nginx。不然在centos上装桌面，往下看看吧。：）
由于当前的环境太虚拟了，如下图所示：在这里插入图片描述
我用nginx做了代理，然后在笔记本上可以访问了。请参考我下面的笔记，不用谢。
Nginx安装
Nginx配置

成功后，如下图所示。

在这里插入图片描述

这篇关于MiniKube EFK日志监控平台的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/257770。

相关文章

在.NET平台使用C#为PDF添加各种类型的表单域的方法

在.NET平台使用C#为PDF添加各种类型的表单域的方法

《在.NET平台使用C#为PDF添加各种类型的表单域的方法》在日常办公系统开发中,涉及PDF处理相关的开发时,生成可填写的PDF表单是一种常见需求,与静态PDF不同,带有**表单域的文档支持用户直接在... 目录引言使用 PdfTextBoxField 添加文本输入域使用 PdfComboBoxField
阅读更多...
使用Python实现IP地址和端口状态检测与监控

使用Python实现IP地址和端口状态检测与监控

《使用Python实现IP地址和端口状态检测与监控》在网络运维和服务器管理中,IP地址和端口的可用性监控是保障业务连续性的基础需求,本文将带你用Python从零打造一个高可用IP监控系统,感兴趣的小伙... 目录概述：为什么需要IP监控系统使用步骤说明1. 环境准备2. 系统部署3. 核心功能配置系统效果展
阅读更多...
Java程序进程起来了但是不打印日志的原因分析

Java程序进程起来了但是不打印日志的原因分析

《Java程序进程起来了但是不打印日志的原因分析》：本文主要介绍Java程序进程起来了但是不打印日志的原因分析,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Java程序进程起来了但是不打印日志的原因1、日志配置问题2、日志文件权限问题3、日志文件路径问题4、程序
阅读更多...
Java使用SLF4J记录不同级别日志的示例详解

Java使用SLF4J记录不同级别日志的示例详解

《Java使用SLF4J记录不同级别日志的示例详解》SLF4J是一个简单的日志门面,它允许在运行时选择不同的日志实现,这篇文章主要为大家详细介绍了如何使用SLF4J记录不同级别日志,感兴趣的可以了解下... 目录一、SLF4J简介二、添加依赖三、配置Logback四、记录不同级别的日志五、总结一、SLF4J
阅读更多...
python logging模块详解及其日志定时清理方式

python logging模块详解及其日志定时清理方式

《pythonlogging模块详解及其日志定时清理方式》：本文主要介绍pythonlogging模块详解及其日志定时清理方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地... 目录python logging模块及日志定时清理1.创建logger对象2.logging.basicCo
阅读更多...
深入理解Apache Kafka(分布式流处理平台)

深入理解Apache Kafka(分布式流处理平台)

《深入理解ApacheKafka(分布式流处理平台)》ApacheKafka作为现代分布式系统中的核心中间件,为构建高吞吐量、低延迟的数据管道提供了强大支持,本文将深入探讨Kafka的核心概念、架构... 目录引言一、Apache Kafka概述1.1 什么是Kafka？1.2 Kafka的核心概念二、Ka
阅读更多...
Qt spdlog日志模块的使用详解

Qt spdlog日志模块的使用详解

《Qtspdlog日志模块的使用详解》在Qt应用程序开发中,良好的日志系统至关重要,本文将介绍如何使用spdlog1.5.0创建满足以下要求的日志系统,感兴趣的朋友一起看看吧... 目录版本摘要例子logmanager.cpp文件main.cpp文件版本spdlog版本：1.5.0采用1.5.0版本主要
阅读更多...
在Android平台上实现消息推送功能

在Android平台上实现消息推送功能

《在Android平台上实现消息推送功能》随着移动互联网应用的飞速发展,消息推送已成为移动应用中不可或缺的功能,在Android平台上,实现消息推送涉及到服务端的消息发送、客户端的消息接收、通知渠道（... 目录一、项目概述二、相关知识介绍2.1 消息推送的基本原理2.2 Firebase Cloud Me
阅读更多...
AJAX请求上传下载进度监控实现方式

AJAX请求上传下载进度监控实现方式

《AJAX请求上传下载进度监控实现方式》在日常Web开发中,AJAX（AsynchronousJavaScriptandXML）被广泛用于异步请求数据,而无需刷新整个页面,：本文主要介绍AJAX请... 目录1. 前言2. 基于XMLHttpRequest的进度监控2.1 基础版文件上传监控2.2 增强版多
阅读更多...
SpringBoot日志配置SLF4J和Logback的方法实现

SpringBoot日志配置SLF4J和Logback的方法实现

《SpringBoot日志配置SLF4J和Logback的方法实现》日志记录是不可或缺的一部分,本文主要介绍了SpringBoot日志配置SLF4J和Logback的方法实现,文中通过示例代码介绍的非... 目录一、前言二、案例一：初识日志三、案例二：使用Lombok输出日志四、案例三：配置Logback一
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2