使用SLS日志服务采集Kong网关的日志

2023-12-02 05:20

本文主要是介绍使用SLS日志服务采集Kong网关的日志,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一、阿里云SLS

官方的接入文档已比较丰富了,本文不意重复说明此事。

站在使用的角度,以采集Kong的日志为示例,说明我们应该如何治理日志。

说白了,本文是想给你怎么省钱作一个建议,希望不会让你公司也“降本增笑”。。

  • 每月涉及到的费用明细

包含存储空间、索引流量、读写流量、读写次数以及活跃Shard租用,其中以存储空间的费用为最。

在这里插入图片描述
活跃Shard租用,是按个来计费的,省是省不了的,除非你不用。
读写次数,取决于你公司查询需求,用得多,费用就多,但是这个单价是按百万次来算的,所以说,用不了几毛钱。

二、采集日志

1、新增Logtail

在这里插入图片描述
填写日志的路径以及文件名,这里的文件名使用了星号通配符“*”
在这里插入图片描述
nginx日志配置的模板是:

log_format  access '"$proxy_add_x_forwarded_for" "$remote_port" "$time_local" "$scheme" $request" "$request_time" "$upstream_response_time" ''"$status" "$body_bytes_sent" "$host" "$http_user_agent" "$bytes_sent" "$request_length" "$http_UserId" "$http_SchoolId" ''"$upstream_addr" "$http_X_B3_TraceId" ';  

正则表达是:

"([0-9a-zA-Z.:, -]*)"\s*"([^"]*)"\s*"(\d+/\S+/\d+:\d+:\d+:\d+)\s+\S+"\s*"([^"]*)"\s*(\S+)\s+(\S+)\s+\S+"\s*"([^"]*)"\s*"([^"]*)"\s*"([^"]*)"\s*"([^"]*)"\s*"([\w\.\*_-]+)"\s*"([^"]*)"\s*"([^"]*)"\s*"([^"]*)"\s*"([^"]*)"\s*"([^"]*)"\s*"([0-9a-zA-Z.:, _/-]*)"\s*"([^"]*)"\s*.*

详见阿里云的官方文档:
https://help.aliyun.com/zh/sls/user-guide/collect-logs-in-nginx-configuration-mode

在这里插入图片描述

最终分割后的报文示例是:

{
“proxy_add_x_forwarded_for”:“111.2.22.102”,
“remote_port”:“60844”,
“time_local”:“01/Dec/2023:13:49:07”,
“scheme”:“https”,
“request_method”:““GET”,
“request_uri”:”/api/v1/1023/group/231/acks",
“request_time”:“0.005”,
“upstream_response_time”:“0.002”,
“status”:“200”,
“body_bytes_sent”:“1162”,
“host”:“xx.xxx.net”,
“http_user_agent”:“com.xx.xsx/v1.5.6.20230927 (SM-P200; android; 9; R52210GLL1F)”,
“bytes_sent”:“1300”,
“request_length”:“1000”,
“http_UserId”:“1023”,
“http_SchoolId”:“2099”,
“upstream_addr”:“10.224.167.89:8084”,
“http_X_B3_TraceId”:“00c23ec80c2”,
pack_meta”:“1|MTY5NDI3NDYwMzY1OTQ5MzczMQ==|334|58”,
topic”:“”,
source”:“10.224.168.214”,
tag:hostname”:“aliyun-kong001”,
tag:path”:“/usr/local/kong/logs/access.log”,
tag:pack_id”:“5AA59E782BE01737-EDD6”,
tag:receive_time”:“1701409748”,
time”:“1701409747”
}

2、选择机器

在这里插入图片描述
在这里插入图片描述

3、存储空间的治理

因为阿里云的SLS日志的数据保存时间默认是180天,根据公司的业务需求和经济情况,一定要调整该值。
在这里插入图片描述

另外,如果你的保存时间超过7天,建议开通其智能存储分层。
在这里插入图片描述

如此设置,阿里云会将存储空间的费用一拆为二,见下例:

  • 存储空间-日志低频存储,费用是0.005元/GB
  • 存储空间,费用是0.015元/GB,价格是低频存储的三倍
    在这里插入图片描述
    所以说,对日志进行分层存储是非常有必要且见效的。
    低频存储的存储量是62963GB,普通存储的量是19945GB,是3比1的比例。而费用他们两者接近相等。
    一句话,分层存储可以帮我们省不少钱,特别是当你的存储量大的时候越明显。

三、总结

如果使用了阿里云SLS产品,可以定期对比分析费用,才能发现上述问题。
在这里插入图片描述
在这里插入图片描述

希望本文能够帮助到你~~

这篇关于使用SLS日志服务采集Kong网关的日志的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/444093

相关文章

使用Python创建一个功能完整的Windows风格计算器程序

《使用Python创建一个功能完整的Windows风格计算器程序》:本文主要介绍如何使用Python和Tkinter创建一个功能完整的Windows风格计算器程序,包括基本运算、高级科学计算(如三... 目录python实现Windows系统计算器程序(含高级功能)1. 使用Tkinter实现基础计算器2.

在.NET平台使用C#为PDF添加各种类型的表单域的方法

《在.NET平台使用C#为PDF添加各种类型的表单域的方法》在日常办公系统开发中,涉及PDF处理相关的开发时,生成可填写的PDF表单是一种常见需求,与静态PDF不同,带有**表单域的文档支持用户直接在... 目录引言使用 PdfTextBoxField 添加文本输入域使用 PdfComboBoxField

Git可视化管理工具(SourceTree)使用操作大全经典

《Git可视化管理工具(SourceTree)使用操作大全经典》本文详细介绍了SourceTree作为Git可视化管理工具的常用操作,包括连接远程仓库、添加SSH密钥、克隆仓库、设置默认项目目录、代码... 目录前言:连接Gitee or github,获取代码:在SourceTree中添加SSH密钥:Cl

Python中模块graphviz使用入门

《Python中模块graphviz使用入门》graphviz是一个用于创建和操作图形的Python库,本文主要介绍了Python中模块graphviz使用入门,具有一定的参考价值,感兴趣的可以了解一... 目录1.安装2. 基本用法2.1 输出图像格式2.2 图像style设置2.3 属性2.4 子图和聚

windows和Linux使用命令行计算文件的MD5值

《windows和Linux使用命令行计算文件的MD5值》在Windows和Linux系统中,您可以使用命令行(终端或命令提示符)来计算文件的MD5值,文章介绍了在Windows和Linux/macO... 目录在Windows上:在linux或MACOS上:总结在Windows上:可以使用certuti

CentOS和Ubuntu系统使用shell脚本创建用户和设置密码

《CentOS和Ubuntu系统使用shell脚本创建用户和设置密码》在Linux系统中,你可以使用useradd命令来创建新用户,使用echo和chpasswd命令来设置密码,本文写了一个shell... 在linux系统中,你可以使用useradd命令来创建新用户,使用echo和chpasswd命令来设

Python使用Matplotlib绘制3D曲面图详解

《Python使用Matplotlib绘制3D曲面图详解》:本文主要介绍Python使用Matplotlib绘制3D曲面图,在Python中,使用Matplotlib库绘制3D曲面图可以通过mpl... 目录准备工作绘制简单的 3D 曲面图绘制 3D 曲面图添加线框和透明度控制图形视角Matplotlib

Pandas中统计汇总可视化函数plot()的使用

《Pandas中统计汇总可视化函数plot()的使用》Pandas提供了许多强大的数据处理和分析功能,其中plot()函数就是其可视化功能的一个重要组成部分,本文主要介绍了Pandas中统计汇总可视化... 目录一、plot()函数简介二、plot()函数的基本用法三、plot()函数的参数详解四、使用pl

使用Python实现IP地址和端口状态检测与监控

《使用Python实现IP地址和端口状态检测与监控》在网络运维和服务器管理中,IP地址和端口的可用性监控是保障业务连续性的基础需求,本文将带你用Python从零打造一个高可用IP监控系统,感兴趣的小伙... 目录概述:为什么需要IP监控系统使用步骤说明1. 环境准备2. 系统部署3. 核心功能配置系统效果展

使用Java将各种数据写入Excel表格的操作示例

《使用Java将各种数据写入Excel表格的操作示例》在数据处理与管理领域,Excel凭借其强大的功能和广泛的应用,成为了数据存储与展示的重要工具,在Java开发过程中,常常需要将不同类型的数据,本文... 目录前言安装免费Java库1. 写入文本、或数值到 Excel单元格2. 写入数组到 Excel表格