PLG轻量日志监控系统(四)Loki之LogQL(一)Log queries

2023-11-30 02:20

本文主要是介绍PLG轻量日志监控系统(四)Loki之LogQL(一)Log queries,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一  LogQL

中文解读

①  基本解读

一个'基本的日志查询'由两部分组成:日志流'选择器'、日志'管道'

​ 

了解支持的operators

LogQL: 'Log query language'LogQL查询时分'两个'部分: '流选择器'(log stream selector)、查询'流水线'(log pipeline)

②  Log stream selector 流选择器

一个 Log Stream 代表了具有'相同元数据(Label 集)'的日志条目++++++++++++  "语法特点"  ++++++++++++1) 对于'查询'表达式的'标签'部分,将其'包装'在花括号中'{}',标签值用"双引号"包括2)然后使用'键值对的语法'来'选择标签',多个标签表达式用'逗号'分隔 -->'相当于and''流选择器'里面可以'使用label'作为'组合'选择, 并使用'匹配操作符'进行'筛选':1) =: '精确'匹配2)!=: '不'匹配3)=~: 基于label的'正则'匹配  -->'PCRE'格式的4)!~: 正则'不匹配'注意: '=(表示精确)'、'感叹号!(取反)'、'~(表示正则)'补充: 正则‘默认‘情况下,匹配是‘区分大小写‘的

​ 

​ 

正则(?i)解读   (?P<value>regular)命名补获

(2)Log Pipeline

1)日志管道可以'附加到'日志流选择器后,以'进一步'处理和过滤日志流2)它通常由'一个或多个'表达式组成,每个表达式针对每个日志'行依'次执行3)如果一个表达式'过滤掉了'日志行,则管道将在此处'停止'并开始处理下一行4)一些表达式可以'改变'日志内容和各自的标签,然后可用于'进一步'过滤和处理后续表达式或指标查询++++++++++++ 一个'日志管道'可以由'以下部分'组成 ++++++++++++[1]、'日志行'过滤表达式[2]、'解析器(parse)'表达式[3]、'标签(label)'过滤表达式[4]、'日志行格式化'表达式[5]、'标签格式化'表达式[6]、Unwrap 表达式备注: 其中 unwrap 表达式是一个'特殊'的表达式,只能在'度量查询'中使用

①  日志行过滤表达式

过滤符: 'Line filter expression'1)|=: 日志行'包含'字符串2)!=: 日志行'不包含'字符串3)|~: 日志行'匹配正则'表达式  -->'PCRE'格式的4)!~: '日志行'与正则表达式'不'匹配注意: '管道符|'、'感叹号!(取反)'、'字符匹配='++++++++++++ "抽象" ++++++++++++这种'工作方式'类似于find+grep;find'找'出文件,grep从文件中逐行'匹配':find . -name "debug.log" | grep err

②  标签过滤表达式

说明: 顾名思义是获取对应特征'label'的日志行1)String'字符串'用"双引号"或`反引号`引起来例如: "200"或`us-central1`2)Duration'时间'是一串'十进制'数字,每个数字都有'可选的数'和'单位'后缀如: "300ms"、"1.5h" 或 "2h45m",有效的时间单位是: "ns"、"us"(或 "µs")、"ms"、"s"、"m"、"h"3)Number'数字'是浮点数(64 位)如: 250、89.9234)Bytes'字节'是一串'十进制'数字,每个数字都有'可选的数'和'单位'后缀如: "42MB"、"1.5Kib" 或 "20b"有效的'字节'单位: "b"、"kib"、"kb"、"mib"、"mb"、"gib"、"gb"、"tib"、"tb"、"pib"、"bb"、"eb"

1)'字符串'类型的工作方式和'日志流选择器中'使用的方式'完全'一样常见:可以使用'同样的操作符'(=、!=、=~、!~)2)使用 Duration、Number 和 Bytes 将在'比较前'转换'标签值',并支持'以下'比较器== 或 = '相等'比较!= '不等于'比较> 和 >= 用于'大于'或'大于等于'比较< 和 <= 用于'小于'或'小于等于'比较

 

③  Parse 解析器

1)解析器表达式可以'解析和提取'日志内容中的标签2)这些提取的标签可以用于'标签过滤表达式'进行过滤或者用于指标聚合。3)提取的标签键将由解析器进行'自动格式化',以遵循 Prometheus 指标名称的约定特点:它们只能包含 'ASCII 字母和数字',以及下划线和冒号,'不能'以数字开头4)其中解析器可以'解析日志'内容, 并通过管道实现灵活的'条件查询',可用的'解析器'有如下几种:Loki supports 'JSON', 'logfmt', 'pattern', 'regexp' and 'unpack' parsers.

各种解析器性能对比 

细节点: '解析器'相当于自定义'数据展示'

1)JSON 

前提: 日志行是'json'格式的数据补充: 如果该日志行'不是预期的格式',该日志行'不会'被过滤,而会被添加一个新的'__error__'标签++++++++++++++ '无参的场景'  ++++++++++++++

  

说明: 有'参'数

2)logfmt

3)Pattern

说明: '了解'即可,'自定义格式'进行'日志行的匹配'

4)Regular expression

RE2 synatax

思考: 如何使用'正则中补获的'变量?{job="regex_test"} | regexp "(?P<rp>[0-9]+)" | rp="10"补充: 功能强大,'更个性化'设置  --> '重点'

正则案例 

5)unpack

6)Line format expression

| line_format : '行格式'表达式  --> '了解'

++++++++++++++ "案例讲解" ++++++++++++++

7)Labels format expression

| label_format: '标签'格式表达式  --> '了解'

这篇关于PLG轻量日志监控系统(四)Loki之LogQL(一)Log queries的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/435248

相关文章

Windows 系统下 Nginx 的配置步骤详解

《Windows系统下Nginx的配置步骤详解》Nginx是一款功能强大的软件,在互联网领域有广泛应用,简单来说,它就像一个聪明的交通指挥员,能让网站运行得更高效、更稳定,:本文主要介绍W... 目录一、为什么要用 Nginx二、Windows 系统下 Nginx 的配置步骤1. 下载 Nginx2. 解压

如何确定哪些软件是Mac系统自带的? Mac系统内置应用查看技巧

《如何确定哪些软件是Mac系统自带的?Mac系统内置应用查看技巧》如何确定哪些软件是Mac系统自带的?mac系统中有很多自带的应用,想要看看哪些是系统自带,该怎么查看呢?下面我们就来看看Mac系统内... 在MAC电脑上,可以使用以下方法来确定哪些软件是系统自带的:1.应用程序文件夹打开应用程序文件夹

windows系统上如何进行maven安装和配置方式

《windows系统上如何进行maven安装和配置方式》:本文主要介绍windows系统上如何进行maven安装和配置方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不... 目录1. Maven 简介2. maven的下载与安装2.1 下载 Maven2.2 Maven安装2.

JVisualVM之Java性能监控与调优利器详解

《JVisualVM之Java性能监控与调优利器详解》本文将详细介绍JVisualVM的使用方法,并结合实际案例展示如何利用它进行性能调优,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全... 目录1. JVisualVM简介2. JVisualVM的安装与启动2.1 启动JVisualVM2

Apache 高级配置实战之从连接保持到日志分析的完整指南

《Apache高级配置实战之从连接保持到日志分析的完整指南》本文带你从连接保持优化开始,一路走到访问控制和日志管理,最后用AWStats来分析网站数据,对Apache配置日志分析相关知识感兴趣的朋友... 目录Apache 高级配置实战:从连接保持到日志分析的完整指南前言 一、Apache 连接保持 - 性

使用Python实现Windows系统垃圾清理

《使用Python实现Windows系统垃圾清理》Windows自带的磁盘清理工具功能有限,无法深度清理各类垃圾文件,所以本文为大家介绍了如何使用Python+PyQt5开发一个Windows系统垃圾... 目录一、开发背景与工具概述1.1 为什么需要专业清理工具1.2 工具设计理念二、工具核心功能解析2.

Linux系统之stress-ng测压工具的使用

《Linux系统之stress-ng测压工具的使用》:本文主要介绍Linux系统之stress-ng测压工具的使用,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、理论1.stress工具简介与安装2.语法及参数3.具体安装二、实验1.运行8 cpu, 4 fo

Nacos日志与Raft的数据清理指南

《Nacos日志与Raft的数据清理指南》随着运行时间的增长,Nacos的日志文件(logs/)和Raft持久化数据(data/protocol/raft/)可能会占用大量磁盘空间,影响系统稳定性,本... 目录引言1. Nacos 日志文件(logs/ 目录)清理1.1 日志文件的作用1.2 是否可以删除

SpringBoot实现文件记录日志及日志文件自动归档和压缩

《SpringBoot实现文件记录日志及日志文件自动归档和压缩》Logback是Java日志框架,通过Logger收集日志并经Appender输出至控制台、文件等,SpringBoot配置logbac... 目录1、什么是Logback2、SpringBoot实现文件记录日志,日志文件自动归档和压缩2.1、

使用nohup和--remove-source-files在后台运行rsync并记录日志方式

《使用nohup和--remove-source-files在后台运行rsync并记录日志方式》:本文主要介绍使用nohup和--remove-source-files在后台运行rsync并记录日... 目录一、什么是 --remove-source-files?二、示例命令三、命令详解1. nohup2.