微服务轮子项目（13） - 统一日志中心详解（docker安装部署）

2024-03-05 12:20
文章标签 部署 服务 安装 日志 项目 详解 docker 统一 13 中心 轮子

本文主要是介绍微服务轮子项目（13） - 统一日志中心详解（docker安装部署），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

文章目录

    • 1. 概述
      • 1.1 相关地址
      • 1.2 组件分工
    • 2. docker安装部署

1. 概述

1.1 相关地址

  • 官网
  • elk镜像仓库

1.2 组件分工

  • filebeat：部署在每台应用服务器、数据库、中间件中，负责日志抓取与日志聚合
  • 日志聚合：把多行日志合并成一条，例如exception的堆栈信息等
  • logstash：通过各种filter结构化日志信息，并把字段transform成对应的类型
  • elasticsearch：负责存储和查询日志信息
  • kibana：通过ui展示日志信息、还能生成饼图、柱状图等

2. docker安装部署

step1：修改mmap计数大于等于262144的限制

#在/etc/sysctl.conf文件最后添加一行
vm.max_map_count=655360
#并执行命令
sysctl -p

step2：下载并运行镜像

docker run -p 5601:5601 -p 9200:9200 -p 9300:9300 -p 5044:5044 --name elk -d sebp/elk:651

step3：准备elasticsearch的配置文件

mkdir /opt/elk/elasticsearch/conf
#复制elasticsearch的配置出来
docker cp elk:/etc/elasticsearch/elasticsearch.yml /opt/elk/elasticsearch/conf

step4：修改elasticsearch.yml配置

修改cluster.name参数

 cluster.name: my-es

在最后新增以下三个参数：

thread_pool.bulk.queue_size: 1000
http.cors.enabled: true
http.cors.allow-origin: "*"

step5：准备logstash的配置文件

mkdir /opt/elk/logstash/conf#复制logstash的配置出来
docker cp elk:/etc/logstash/conf.d/. /opt/elk/logstash/conf/

step6：准备logstash的patterns文件

新建一个java的patterns文件

mkdir /opt/elk/logstash/patterns

vim java 内容如下:

# user-center
MYAPPNAME ([0-9a-zA-Z_-]*)
# RMI TCP Connection(2)-127.0.0.1
MYTHREADNAME ([0-9a-zA-Z._-]|\(|\)|\s)*

就是一个名字叫做java的文件，不需要文件后缀

step7：删除02-beats-input.conf的最后三句，去掉强制认证

vim /opt/elk/logstash/conf/02-beats-input.conf
#ssl => true 
#ssl_certificate => "/pki/tls/certs/logstash.crt"
#ssl_key => "/pki/tls/private/logstash.key"

step8：修改10-syslog.conf配置，改为以下内容

  • 注意，下面的logstash结构化配置样例都是以本工程的日志格式配置，并不是通用的
filter {if [type] == "syslog" {grok {match => { "message" => "%{SYSLOGTIMESTAMP:syslog_timestamp} %{SYSLOGHOST:syslog_hostname} %{DATA:syslog_program}(?:\[%{POSINT:syslog_pid}\])?: %{GREEDYDATA:syslog_message}" }add_field => [ "received_at", "%{@timestamp}" ]add_field => [ "received_from", "%{host}" ]}syslog_pri { }date {match => [ "syslog_timestamp", "MMM  d HH:mm:ss", "MMM dd HH:mm:ss" ]}}if [fields][docType] == "sys-log" {grok {patterns_dir => ["/opt/elk/logstash/patterns"]match => { "message" => "\[%{NOTSPACE:appName}:%{NOTSPACE:serverIp}:%{NOTSPACE:serverPort}\] %{TIMESTAMP_ISO8601:logTime} %{LOGLEVEL:logLevel} %{WORD:pid} \[%{MYAPPNAME:traceId}\] \[%{MYTHREADNAME:threadName}\] %{NOTSPACE:classname} %{GREEDYDATA:message}" }overwrite => ["message"]}date {match => ["logTime","yyyy-MM-dd HH:mm:ss.SSS Z"]}date {match => ["logTime","yyyy-MM-dd HH:mm:ss.SSS"]target => "timestamp"locale => "en"timezone => "+08:00"}mutate {  remove_field => "logTime"remove_field => "@version"remove_field => "host"remove_field => "offset"}}if [fields][docType] == "point-log" {grok {patterns_dir => ["/opt/elk/logstash/patterns"]match => { "message" => "%{TIMESTAMP_ISO8601:logTime}\|%{MYAPPNAME:appName}\|%{WORD:resouceid}\|%{MYAPPNAME:type}\|%{GREEDYDATA:object}"}}kv {source => "object"field_split => "&"value_split => "="}date {match => ["logTime","yyyy-MM-dd HH:mm:ss.SSS Z"]}date {match => ["logTime","yyyy-MM-dd HH:mm:ss.SSS"]target => "timestamp"locale => "en"timezone => "+08:00"}mutate {remove_field => "logTime"remove_field => "@version"remove_field => "host"remove_field => "offset"}}
}

step9：修改30-output.conf配置，改为以下内容

output {if [fields][docType] == "sys-log" {elasticsearch {hosts => ["localhost"]manage_template => falseindex => "sys-log-%{+YYYY.MM.dd}"document_type => "%{[@metadata][type]}"}}if [fields][docType] == "point-log" {elasticsearch {hosts => ["localhost"]manage_template => falseindex => "point-log-%{+YYYY.MM.dd}"document_type => "%{[@metadata][type]}"routing => "%{type}"}}
}

step10：创建运行脚本

vim /opt/elk/start.sh

docker stop elk
docker rm elkdocker run -p 5601:5601 -p 9200:9200 -p 9300:9300 -p 5044:5044 \-e LS_HEAP_SIZE="1g" -e ES_JAVA_OPTS="-Xms2g -Xmx2g" \-v $PWD/elasticsearch/data:/var/lib/elasticsearch \-v $PWD/elasticsearch/plugins:/opt/elasticsearch/plugins \-v $PWD/logstash/conf:/etc/logstash/conf.d \-v $PWD/logstash/patterns:/opt/logstash/patterns \-v $PWD/elasticsearch/conf/elasticsearch.yml:/etc/elasticsearch/elasticsearch.yml \-v $PWD/elasticsearch/log:/var/log/elasticsearch \-v $PWD/logstash/log:/var/log/logstash \--name elk \-d sebp/elk:651

step11：运行镜像

sh start.sh

step12：添加索引模板(非必需)

如果是单节点的es需要去掉索引的副本配置，不然会出现unassigned_shards
在这里插入图片描述
1.更新已有索引

curl -X PUT "http://192.168.28.130:9200/sys-log-*/_settings" -H 'Content-Type: application/json' -d'
{"index" : {"number_of_replicas" : 0}
}
'
curl -X PUT "http://192.168.28.130:9200/mysql-slowlog-*/_settings" -H 'Content-Type: application/json' -d'
{"index" : {"number_of_replicas" : 0}
}'

2.设置索引模板

系统日志

curl -XPUT http://192.168.28.130:9200/_template/template_sys_log -H 'Content-Type: application/json' -d '
{"index_patterns" : ["sys-log-*"],"order" : 0,"settings" : {"number_of_replicas" : 0},"mappings": {"doc": {"properties": {"message": {"type": "text","fields": {"keyword": {"type": "keyword","ignore_above": 256}},"analyzer": "ik_max_word"},"pid": {"type": "text"},"serverPort": {"type": "text"},"logLevel": {"type": "text"},"traceId": {"type": "text"}}}  }   
}'

慢sql日志

curl -XPUT http://192.168.28.130:9200/_template/template_sql_slowlog -H 'Content-Type: application/json' -d '
{"index_patterns" : ["mysql-slowlog-*"],"order" : 0,"settings" : {"number_of_replicas" : 0},"mappings": {"doc": {"properties": {"query_str": {"type": "text","fields": {"keyword": {"type": "keyword","ignore_above": 256}},"analyzer": "ik_max_word"}}}}
}'

埋点日志

curl -XPUT http://192.168.28.130:9200/_template/template_point_log -H 'Content-Type: application/json' -d '
{"index_patterns" : ["point-log-*"],"order" : 0,"settings" : {"number_of_shards" : 2,"number_of_replicas" : 0}
}'

step13：安装IK分词器

查询数据，都是使用的默认的分词器，分词效果不太理想，会把text的字段分成一个一个汉字，然后搜索的时候也会把搜索的句子进行分词，所以这里就需要更加智能的分词器IK分词器了

1.下载

  • 下载地址：https://github.com/medcl/elasticsearch-analysis-ik/releases
  • 这里你需要根据你的Es的版本来下载对应版本的IK在这里插入图片描述
    2.解压
    将文件复制到 es的安装目录/plugin/ik下面即可，完成之后效果如下：
    在这里插入图片描述

3.重启容器并检查插件是否安装成功

http://192.168.28.130:9200/_cat/plugins
在这里插入图片描述

step14：配置样例
链接: https://pan.baidu.com/s/1Qq3ywAbXMMRYyYxBAViMag
提取码: aubp

这篇关于微服务轮子项目（13） - 统一日志中心详解（docker安装部署）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/776484。

相关文章

一文详解如何在idea中快速搭建一个Spring Boot项目

一文详解如何在idea中快速搭建一个Spring Boot项目

《一文详解如何在idea中快速搭建一个SpringBoot项目》IntelliJIDEA作为Java开发者的‌首选IDE‌,深度集成SpringBoot支持,可一键生成项目骨架、智能配置依赖,这篇文... 目录前言1、创建项目名称2、勾选需要的依赖3、在setting中检查maven4、编写数据源5、开启热
阅读更多...
Python常用命令提示符使用方法详解

Python常用命令提示符使用方法详解

《Python常用命令提示符使用方法详解》在学习python的过程中,我们需要用到命令提示符(CMD)进行环境的配置,：本文主要介绍Python常用命令提示符使用方法的相关资料,文中通过代码介绍的... 目录一、python环境基础命令【Windows】1、检查Python是否安装2、 查看Python的安
阅读更多...
Python UV安装、升级、卸载详细步骤记录

Python UV安装、升级、卸载详细步骤记录

《PythonUV安装、升级、卸载详细步骤记录》：本文主要介绍PythonUV安装、升级、卸载的详细步骤,uv是Astral推出的下一代Python包与项目管理器,主打单一可执行文件、极致性能... 目录安装检查升级设置自动补全卸载UV 命令总结 官方文档详见：https://docs.astral.sh/
阅读更多...
HTML5 搜索框Search Box详解

HTML5 搜索框Search Box详解

《HTML5搜索框SearchBox详解》HTML5的搜索框是一个强大的工具，能够有效提升用户体验,通过结合自动补全功能和适当的样式，可以创建出既美观又实用的搜索界面,这篇文章给大家介绍HTML5... html5 搜索框（Search Box）详解搜索框是一个用于输入查询内容的控件，通常用于网站或应用程
阅读更多...
SpringBoot项目配置logback-spring.xml屏蔽特定路径的日志

SpringBoot项目配置logback-spring.xml屏蔽特定路径的日志

《SpringBoot项目配置logback-spring.xml屏蔽特定路径的日志》在SpringBoot项目中,使用logback-spring.xml配置屏蔽特定路径的日志有两种常用方式,文中的... 目录方案一：基础配置（直接关闭目标路径日志）方案二：结合 Spring Profile 按环境屏蔽关
阅读更多...
Python中使用uv创建环境及原理举例详解

Python中使用uv创建环境及原理举例详解

《Python中使用uv创建环境及原理举例详解》uv是Astral团队开发的高性能Python工具,整合包管理、虚拟环境、Python版本控制等功能,：本文主要介绍Python中使用uv创建环境及... 目录一、uv工具简介核心特点：二、安装uv1. 通过pip安装2. 通过脚本安装验证安装：配置镜像源（可
阅读更多...
C++ 函数 strftime 和时间格式示例详解

C++ 函数 strftime 和时间格式示例详解

《C++函数strftime和时间格式示例详解》strftime是C/C++标准库中用于格式化日期和时间的函数,定义在ctime头文件中,它将tm结构体中的时间信息转换为指定格式的字符串,是处理... 目录C++ 函数 strftipythonme 详解一、函数原型二、功能描述三、格式字符串说明四、返回值五
阅读更多...
LiteFlow轻量级工作流引擎使用示例详解

LiteFlow轻量级工作流引擎使用示例详解

《LiteFlow轻量级工作流引擎使用示例详解》：本文主要介绍LiteFlow是一个灵活、简洁且轻量的工作流引擎,适合用于中小型项目和微服务架构中的流程编排,本文给大家介绍LiteFlow轻量级工... 目录1. LiteFlow 主要特点2. 工作流定义方式3. LiteFlow 流程示例4. LiteF
阅读更多...
CSS3中的字体及相关属性详解

CSS3中的字体及相关属性详解

《CSS3中的字体及相关属性详解》：本文主要介绍了CSS3中的字体及相关属性，详细内容请阅读本文，希望能对你有所帮助... 字体网页字体的三个来源：用户机器上安装的字体，放心使用。保存在第三方网站上的字体，例如Typekit和Google,可以link标签链接到你的页面上。保存在你自己Web服务器上的字
阅读更多...
Nexus安装和启动的实现教程

Nexus安装和启动的实现教程

《Nexus安装和启动的实现教程》：本文主要介绍Nexus安装和启动的实现教程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、Nexus下载二、Nexus安装和启动三、关闭Nexus总结一、Nexus下载官方下载链接：DownloadWindows系统根
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2