SkyWalking之APM无侵入可观测原理分析

2024-02-22 13:12

本文主要是介绍SkyWalking之APM无侵入可观测原理分析,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一、 简介(为什么需要用到可观测能力)

        随着微服务的开发模式的兴起,早期的单体架构系统已拆分为很多的子系统,各个子系统封装为微服务,各服务间通过HTTP协议RESET API或者RPC协议进行调用。

        在单体服务或者微服务较少的情况下,当我们遇到问题时可以直接简单、快速地通过日志进行分析,并迅速判断是A服务还是B服务存在问题,以此快速恢复服务。

        但是,在大型企业中,系统数量已经到达了几十个、甚至上百个,每个系统都有不同的架构和调用协议,那么此时这些系统之间的调用关系会变得错综复杂。当某个API接口的业务逻辑很复杂、且调用链路很长,涉及的系统或微服务较多,一旦其中一环出现问题,想要快速定位问题和解决问题那就太难了,如果还是按照早期一一查看日志的方式进行排查,无疑对运维和开发人员是一场噩梦.....

        那么有什么方式能够做到快速定位和分析,并且在应用不改造的情况下实施呢?此时就需要一套APM(应用性能管理(Application Performance Management))系统,将我们业务开发与运维制定的规范嵌入APM系统,在可视化UI面板+告警快速地,通过服务调用链的拓扑图进行问题定位。

        APM系统开源的其实有很多产品,例如韩国主导的Pinpoint、大众点评的CAT、推特的ZipKin、CNCF的Jaeger以及本文重点介绍的Apache SkyWalking. 感兴趣的同学都可以一一了解和使用。

        APM重点关注三个指标数据: 1、Metrics  2、Logging  3、Tracing

        Peter Bourgon在参加完2017 Distributed Tracing Summit后发表的一篇博文,简洁扼要地介绍了指标(Metrics)、链路(Tracing)、日志(Logging)三者的定义和关系。这三种数据在可观察性中都有各自的发挥空间,但每种数据都没办法完全被其他数据代替。

        我们从一个典型的服务问题排查过程来看:

  1. 通过各式各样的预设报警发现异常(通常是Metrics/Logging)
  2. 打开监控大盘查找异常的曲线,并通过查询找到异常的模块(Metrics)
  3. 对这个模块以及关联日志进行查询分析,找到核心的报错信息(Logging)
  4. 通过详细的调用链数据定位到引起问题的代码(Tracing)

二、SkyWalking

        SkyWalking 由中国华为和 Apache 开源社区共同开发,目前已成为 Apache 基金会下的顶级项目之一,作者吴晟。

        SkyWalking 是基于 Apache 开源生态的分布式应用性能监控系统。它提供了面向云原生架构的 APM(Application Performance Management)解决方案,支持多种语言的应用和多种方式的部署,具有以下特点:

        分布式追踪:支持多种语言、多种协议的应用追踪,可获取全链路的请求数据。

        应用拓扑图:根据追踪数据自动生成应用程序拓扑,便于系统管理员快速定位故障。

        监控告警:具有丰富的监控指标和告警规则,支持第三方告警接口。

        插件化体系:可通过插件模块实现对不同类型服务的监控和数据收集。

2.1 无侵入式说明

        SkyWalking Agent采集调用链信息的客户端对业务是无感的、非侵入式的。 那也就意味着,你的项目代码无须修改一行代码就能加入SkyWalking的采集、监控、调用链追踪。

        原始项目接入SkyWalking很轻松、门槛很低。 底层大概得原理是:JAVA本身就提供JAVAAGENT的机制以及采用动态修改字节码技术的方式,Agent在JVM底层帮我们把调用链采集上报的过程透明化了,开发人员作为业务层写代码是无感的。

        注意:无侵入方式实现

  1. 应用服务器中需要安装SkyWalking-agent.jar
  2. 应用需要重启,并且在启动参数中添加相关配置,在后面案例中会提供详细的参

接下来我会使用入门案例做个简单初步分析和验证.

三、案例验证(使用JAVA:SpringBoot工程+PHP)

3.1 安装SkyWalking的OAP系统安装包

下载:  SkyWalking的OAP压缩包

下载页面: Downloads | Apache SkyWalking

3.2 上传下载好的OAP的tar包

3.3 运行OAP

1、解压 apache-skywalking-apm-9.7.0.tar.gz

tar -zxvf apache-skywalking-apm-9.7.0.tar.gz

2、进入 apache-skywalking-apm-bin

3、在启动OAP之前需要确定机器上是否安装JDK

注意SkyWalking新版安装包需要JDK11以上,否则无法启动

Linux 上安装及卸载JDK(包含yum方式)-CSDN博客

Exception in thread "main" java.lang.UnsupportedClassVersionError: org/apache/skywalking/oap/server/starter/OAPServerStartUp has been compiled by a more recent version of the Java Runtime (class file version 55.0), this version of the Java Runtime only recognizes class file versions up to 52.0

该错误告诉我们,我们的类是在比尝试运行它的版本更高的Java版本下编译的。 更具体地说,在这种情况下,我们使用Java 11编译了我们的类,并尝试使用Java 8运行它。

作为参考,让我们快速看一下Java版本号。 如果我们需要下载适当的Java版本,这将很方便。主版本号和次版本号存储在类字节码中的字节六和七中。让我们看看主要版本号如何映射到Java版本:45 = Java 1.146 = Java 1.247 = Java 1.348 = Java 1.449 = Java 550 = Java 651 = Java 752 = Java 853 = Java 954 = Java 1055 = Java 1156 = Java 1257 = Java 13

4、进入bin目录有启动脚本,我们先启动oapService.sh(服务端)、再启动webappService.sh(UI客户端)

sh oapService.sh 
sh webappService.sh

5、启动完毕,执行jps程序查看进程有没有正常拉起来

如果JPS无法使用,则参考linux环境下JPS命令未找到-CSDN博客

6、正常会出现上面两个进程,如果没有拉起来在logs目录可以查看错误信息进行排查,如无问题则继续往下

7、访问SkyWalking 8080 UI界面,默认端口8080

http://$ip:8080

       目前刚开始服务列表这些是空的, SkyWalking支持多种数据存储介质例如默认内存、MySQL、ES等等,一般生产环境使用ES集群进行存储,我们测试直接不用改什么配置,默认采用内存的形式。那就意味着如果服务重启,则之前的测试数据会丢失。

3.4 Trace调用链追踪的基本原理介绍

       Trace调用链追踪,例如A->B->C->D  存在4个微服务的调用链关系。 假设我们通过HTTP协议进行交互,该怎么把调用链信息拿到呢? 

        Google的Dapper论文中提到了一种分布式调用链追踪的实现方式, 市面上的APM系统调用链追踪大部分是参考这篇论文实现的。 每个调用链可以使用TraceId进行标识,每个服务被调用称为一个Span会伴随一个SpanId, 每当父服务调用子服务的时候会将TraceId以及父层的SpanId往子服务传递,子服务收到后,记录父层传递的SpanId作为自己Span的父id,  最后2个服务都会把调用信息上报到APM的服务端,例如SkyWalking的某个端口。

        最后SkyWalking因为采集到了这些Span的信息,Span信息记录着父子关系、调用时间信息、TraceId等等,经过UI绘制,就能把这一次调用的TraceId的所有Span进行串联,最终形成调用链拓扑图。

        接下来我们部署一个SpringBoot项目和一个PHP项目,很简单的链路,SpringBoot调用PHP项目的HTTP接口,我们来看下SkyWalking的UI界面以及分析原理验证。

3.5 运行项目
        我本地搭建了一套SpringBoot项目,但是如果只是简单运行,那肯定和我们的SkyWalking还没进行结合。那怎么结合起来呢?  那就是通过运行的时候,设置参数,和SkyWalking Agent进行结合。

        我们上面提到过,使用SkyWalking Agent最大的好处就是【无代码侵入】,那也就是意味着我们的源代码无须做任何变更, 只需要在运行java -jar JAR包的时候额外加入一下参数即可:

      下载Agent:

下载后进行解压,我将使用两种方式验证;

本地IDEA运行和Linux环境下运行,但注意运行需要同时配置JVM启动参数

# skywalking‐agent.jar的本地磁盘的路径
-javaagent:F:\Apache\skywalking-agent\skywalking-agent.jar
# 在skywalking上显示的服务名
-Dskywalking.agent.service_name=SkyWalking-Test
# skywalking的collector服务的IP及端口
-Dskywalking.collector.backend_service=192.168.20.128:11800
  • 本地IDEA运行SpringBoot工程

​​​​​​​​​​​​​​​​​​​​​

访问接口,即可在UI界面上展示信息

服务列表信息

查看调用service调用拓扑图

查看调用链详细信息

  • Linux上运行

通过官网Tar包,启动一直报错

启动命令:
java -javaagent:/user/local/skywalking-agent/skywalking-agent.jar -Dskywalking.agent.service_name=TestDemo-Adaptee -Dskywalking.collector.backend_service=[IP]:11800 -jar /user/local/TestDemo-Adaptee-0.0.1-SNAPSHOT.jar错误:
Error opening zip file or JAR manifest missing : /user/local/skywalking-agent/skywalking-agent.jar
Error occurred during initialization of VM
agent library failed to init: instrument

官网Tar包下载地址:​​​​​​​Index of /skywalking/java-agent

下载Agent包:
wget https://dlcdn.apache.org/skywalking/java-agent/9.0.0/apache-skywalking-java-agent-9.0.0.tgz解压:
tar -zxvf apache-skywalking-java-agent-9.0.0.tgz

博主解压完后出现两个文件:tgz.1和skywalking-agent文件夹

需要再次解压tgz.1压缩包

解压:
tar -zxvf apache-skywalking-java-agent-9.0.0.tgz

启动

执行上面启动命令后即可

​​​​​​​

这篇关于SkyWalking之APM无侵入可观测原理分析的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/735363

相关文章

Java中流式并行操作parallelStream的原理和使用方法

《Java中流式并行操作parallelStream的原理和使用方法》本文详细介绍了Java中的并行流(parallelStream)的原理、正确使用方法以及在实际业务中的应用案例,并指出在使用并行流... 目录Java中流式并行操作parallelStream0. 问题的产生1. 什么是parallelS

Java中Redisson 的原理深度解析

《Java中Redisson的原理深度解析》Redisson是一个高性能的Redis客户端,它通过将Redis数据结构映射为Java对象和分布式对象,实现了在Java应用中方便地使用Redis,本文... 目录前言一、核心设计理念二、核心架构与通信层1. 基于 Netty 的异步非阻塞通信2. 编解码器三、

Java HashMap的底层实现原理深度解析

《JavaHashMap的底层实现原理深度解析》HashMap基于数组+链表+红黑树结构,通过哈希算法和扩容机制优化性能,负载因子与树化阈值平衡效率,是Java开发必备的高效数据结构,本文给大家介绍... 目录一、概述:HashMap的宏观结构二、核心数据结构解析1. 数组(桶数组)2. 链表节点(Node

Nginx分布式部署流程分析

《Nginx分布式部署流程分析》文章介绍Nginx在分布式部署中的反向代理和负载均衡作用,用于分发请求、减轻服务器压力及解决session共享问题,涵盖配置方法、策略及Java项目应用,并提及分布式事... 目录分布式部署NginxJava中的代理代理分为正向代理和反向代理正向代理反向代理Nginx应用场景

Redis中Hash从使用过程到原理说明

《Redis中Hash从使用过程到原理说明》RedisHash结构用于存储字段-值对,适合对象数据,支持HSET、HGET等命令,采用ziplist或hashtable编码,通过渐进式rehash优化... 目录一、开篇:Hash就像超市的货架二、Hash的基本使用1. 常用命令示例2. Java操作示例三

Redis中Set结构使用过程与原理说明

《Redis中Set结构使用过程与原理说明》本文解析了RedisSet数据结构,涵盖其基本操作(如添加、查找)、集合运算(交并差)、底层实现(intset与hashtable自动切换机制)、典型应用场... 目录开篇:从购物车到Redis Set一、Redis Set的基本操作1.1 编程常用命令1.2 集

Redis中的有序集合zset从使用到原理分析

《Redis中的有序集合zset从使用到原理分析》Redis有序集合(zset)是字符串与分值的有序映射,通过跳跃表和哈希表结合实现高效有序性管理,适用于排行榜、延迟队列等场景,其时间复杂度低,内存占... 目录开篇:排行榜背后的秘密一、zset的基本使用1.1 常用命令1.2 Java客户端示例二、zse

Redis中的AOF原理及分析

《Redis中的AOF原理及分析》Redis的AOF通过记录所有写操作命令实现持久化,支持always/everysec/no三种同步策略,重写机制优化文件体积,与RDB结合可平衡数据安全与恢复效率... 目录开篇:从日记本到AOF一、AOF的基本执行流程1. 命令执行与记录2. AOF重写机制二、AOF的

java程序远程debug原理与配置全过程

《java程序远程debug原理与配置全过程》文章介绍了Java远程调试的JPDA体系,包含JVMTI监控JVM、JDWP传输调试命令、JDI提供调试接口,通过-Xdebug、-Xrunjdwp参数配... 目录背景组成模块间联系IBM对三个模块的详细介绍编程使用总结背景日常工作中,每个程序员都会遇到bu

Python中isinstance()函数原理解释及详细用法示例

《Python中isinstance()函数原理解释及详细用法示例》isinstance()是Python内置的一个非常有用的函数,用于检查一个对象是否属于指定的类型或类型元组中的某一个类型,它是Py... 目录python中isinstance()函数原理解释及详细用法指南一、isinstance()函数