分布式时序计算框架vortex metrics使用介绍

2024-04-15 18:18
文章标签 使用 计算 介绍 框架 分布式 时序 metrics vortex

本文主要是介绍分布式时序计算框架vortex metrics使用介绍，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

vortex metrics是一款用Java写的，轻量级的，高性能的分布式时序计算框架。
vortex metrics框架源自作者另一个分布式流式计算框架vortex，可以看作是vortex关于时序计算场景的一个具体实现

框架特性：

  1. 去中心化模式管理应用集群
  2. 支持应用动态水平扩展
  3. 并发性能极高且稳定(网络层可适配Netty4,Mina,Grizzly等框架）
  4. CP分布式架构，支持数据的最终一致性
  5. 数据存储在内存中，访问快捷。

数据存储：

vortex metrics本身不提供外部存储（但可以扩展去实现），相比另一个时序数据库OpenTSDB，vortex metrics更偏向实时计算，将延迟尽可能保持在秒级，但由于是内存计算，计算结果是存储在内存中的，有限的存储空间让它并不适用于存储大量指标的业务场景。但同时，对于一个指标的窗口数据，若需要保留的时间跨度较长时，vortex metrics提供了定制接口，可以保存到外部存储，比如数据库或缓存，但这需要开发人员做一些额外的开发工作。此外，vortex metrics提供了一个简单的Web查询界面来查看效果统计，并且这个Web项目也正在持续改进中。

实际上，vortex metrics的功能是很单一的，因为它只做一件事，那就是根据客户端源源不断的上报数据实时地计算并输出单位时间窗口内的统计数据，记住这点很重要。

安装

Maven：

<dependency><groupId>com.github.paganini2008.atlantis</groupId><artifactId>vortex-spring-boot-starter</artifactId><version>1.0-RC2</version>
</dependency>

兼容性：

  • Jdk 1.8 (or later)
  • SpringBoot 2.2.0 (or later)
  • Redis 3.0 (or later)
  • MySQL 5.0 (or later)

vortex metrics是一个基于SpringBoot的Web应用程序，前面说过，它依赖vortex框架, 而vortex是通过另一个微服务分布式协调框架tridenter来实现集群模式的，并支持动态水平扩展。

参考配置

# 集群配置
spring.application.name=vortex-metrics
spring.application.cluster.name=vortex-metrics-cluster# vortex配置
atlantis.framework.vortex.bufferzone.collectionName=metric  # 缓冲区集合名称
atlantis.framework.vortex.bufferzone.pullSize=1000  # 缓冲区每次拉取的消息数量
atlantis.framework.vortex.processor.threads=200  # 数据消费者线程数

服务的默认端口为6150，输入地址：http://localhost:6150/metric/ 可以看到这个界面
image.png

vortex metrics将server数据接收端和监控界面做在同一个应用中的，高并发场景下，可能会出现数据计算完成并已同步，但界面会滞后更新的情况。

HTTP API说明

vortex metrics目前只提供了2个接口：

  1. 上报数据接口：
    POST http://localhost:6150/metrics/sequence/{dataType}
    比如，要上报小汽车的时速，请求体示例：
{
"name": "car",
"metric": "speed",
"value": 120,
"timestamp": 1613200609281
}

参数说明：

参数名类型描述举例
dateType字符串数据类型，取值范围：bigint,numeric,boolbigint
name字符串应用名称car
metric字符串上报指标名称speed
value数值上报数值120
timestamp长整型上报时间戳1613200609281
  1. 查看效果统计数据接口：
    GET http://localhost:6150/metrics/sequence/{dataType}/{name}/{metric}
    参数同上

这里以上面上报小汽车的时速为例：
image.png

对应的响应体：

{"dataType": "bigint","name": "car","metric": "speed","data": {"07:13:00": {"speed": {"middleValue": 198,"count": 2918,"highestValue": 299,"lowestValue": 100,"timestamp": 1627686839790}},"07:14:00": {"speed": {"middleValue": 199,"count": 10890,"highestValue": 299,"lowestValue": 100,"timestamp": 1627686899924}},"07:15:00": {"speed": {"middleValue": 198,"count": 10917,"highestValue": 299,"lowestValue": 100,"timestamp": 1627686959928}},"07:16:00": {"speed": {"middleValue": 199,"count": 10903,"highestValue": 299,"lowestValue": 100,"timestamp": 1627687019591}},"07:17:00": {"speed": {"middleValue": 199,"count": 10841,"highestValue": 299,"lowestValue": 100,"timestamp": 1627687079709}},"07:18:00": {"speed": {"middleValue": 199,"count": 10901,"highestValue": 299,"lowestValue": 100,"timestamp": 1627687139969}},"07:19:00": {"speed": {"middleValue": 199,"count": 10878,"highestValue": 299,"lowestValue": 100,"timestamp": 1627687199267}},"07:20:00": {"speed": {"middleValue": 199,"count": 10887,"highestValue": 299,"lowestValue": 100,"timestamp": 1627687259118}},"07:21:00": {"speed": {"middleValue": 199,"count": 10911,"highestValue": 299,"lowestValue": 100,"timestamp": 1627687319918}},"07:22:00": {"speed": {"middleValue": 199,"count": 10866,"highestValue": 299,"lowestValue": 100,"timestamp": 1627687379834}},"07:23:00": {"speed": {"middleValue": 199,"count": 10910,"highestValue": 299,"lowestValue": 100,"timestamp": 1627687439577}},"07:24:00": {"speed": {"middleValue": 200,"count": 10951,"highestValue": 299,"lowestValue": 100,"timestamp": 1627687499147}},"07:25:00": {"speed": {"middleValue": 200,"count": 10980,"highestValue": 299,"lowestValue": 100,"timestamp": 1627687559897}},"07:26:00": {"speed": {"middleValue": 199,"count": 7811,"highestValue": 299,"lowestValue": 100,"timestamp": 1627687602546}},"07:27:00": {"speed": {"middleValue": 0,"count": 0,"highestValue": 0,"lowestValue": 0,"timestamp": 1627687620790}},"07:28:00": {"speed": {"middleValue": 0,"count": 0,"highestValue": 0,"lowestValue": 0,"timestamp": 1627687680790}},"07:29:00": {"speed": {"middleValue": 0,"count": 0,"highestValue": 0,"lowestValue": 0,"timestamp": 1627687740790}},"07:30:00": {"speed": {"middleValue": 0,"count": 0,"highestValue": 0,"lowestValue": 0,"timestamp": 1627687800790}},"07:31:00": {"speed": {"middleValue": 0,"count": 0,"highestValue": 0,"lowestValue": 0,"timestamp": 1627687860790}},"07:32:00": {"speed": {"middleValue": 0,"count": 0,"highestValue": 0,"lowestValue": 0,"timestamp": 1627687920790}},"07:33:00": {"speed": {"middleValue": 0,"count": 0,"highestValue": 0,"lowestValue": 0,"timestamp": 1627687980790}},"07:34:00": {"speed": {"middleValue": 0,"count": 0,"highestValue": 0,"lowestValue": 0,"timestamp": 1627688040790}},"07:35:00": {"speed": {"middleValue": 0,"count": 0,"highestValue": 0,"lowestValue": 0,"timestamp": 1627688100790}},"07:36:00": {"speed": {"middleValue": 0,"count": 0,"highestValue": 0,"lowestValue": 0,"timestamp": 1627688160790}},"07:37:00": {"speed": {"middleValue": 0,"count": 0,"highestValue": 0,"lowestValue": 0,"timestamp": 1627688220790}},"07:38:00": {"speed": {"middleValue": 0,"count": 0,"highestValue": 0,"lowestValue": 0,"timestamp": 1627688280790}},"07:39:00": {"speed": {"middleValue": 0,"count": 0,"highestValue": 0,"lowestValue": 0,"timestamp": 1627688340790}},"07:40:00": {"speed": {"middleValue": 0,"count": 0,"highestValue": 0,"lowestValue": 0,"timestamp": 1627688400790}},"07:41:00": {"speed": {"middleValue": 0,"count": 0,"highestValue": 0,"lowestValue": 0,"timestamp": 1627688460790}},"07:42:00": {"speed": {"middleValue": 0,"count": 0,"highestValue": 0,"lowestValue": 0,"timestamp": 1627688520790}},"07:43:00": {"speed": {"middleValue": 0,"count": 0,"highestValue": 0,"lowestValue": 0,"timestamp": 1627688580790}},"07:44:00": {"speed": {"middleValue": 0,"count": 0,"highestValue": 0,"lowestValue": 0,"timestamp": 1627688640790}},"07:45:00": {"speed": {"middleValue": 0,"count": 0,"highestValue": 0,"lowestValue": 0,"timestamp": 1627688700790}},"07:46:00": {"speed": {"middleValue": 0,"count": 0,"highestValue": 0,"lowestValue": 0,"timestamp": 1627688760790}},"07:47:00": {"speed": {"middleValue": 0,"count": 0,"highestValue": 0,"lowestValue": 0,"timestamp": 1627688820790}},"07:48:00": {"speed": {"middleValue": 0,"count": 0,"highestValue": 0,"lowestValue": 0,"timestamp": 1627688880790}},"07:49:00": {"speed": {"middleValue": 0,"count": 0,"highestValue": 0,"lowestValue": 0,"timestamp": 1627688940790}},"07:50:00": {"speed": {"middleValue": 0,"count": 0,"highestValue": 0,"lowestValue": 0,"timestamp": 1627689000790}},"07:51:00": {"speed": {"middleValue": 0,"count": 0,"highestValue": 0,"lowestValue": 0,"timestamp": 1627689060790}},"07:52:00": {"speed": {"middleValue": 0,"count": 0,"highestValue": 0,"lowestValue": 0,"timestamp": 1627689120790}},"07:53:00": {"speed": {"middleValue": 0,"count": 0,"highestValue": 0,"lowestValue": 0,"timestamp": 1627689180790}},"07:54:00": {"speed": {"middleValue": 0,"count": 0,"highestValue": 0,"lowestValue": 0,"timestamp": 1627689240790}},"07:55:00": {"speed": {"middleValue": 0,"count": 0,"highestValue": 0,"lowestValue": 0,"timestamp": 1627689300790}},"07:56:00": {"speed": {"middleValue": 0,"count": 0,"highestValue": 0,"lowestValue": 0,"timestamp": 1627689360790}},"07:57:00": {"speed": {"middleValue": 0,"count": 0,"highestValue": 0,"lowestValue": 0,"timestamp": 1627689420790}},"07:58:00": {"speed": {"middleValue": 0,"count": 0,"highestValue": 0,"lowestValue": 0,"timestamp": 1627689480790}},"07:59:00": {"speed": {"middleValue": 0,"count": 0,"highestValue": 0,"lowestValue": 0,"timestamp": 1627689540790}},"08:00:00": {"speed": {"middleValue": 0,"count": 0,"highestValue": 0,"lowestValue": 0,"timestamp": 1627689600790}},"08:01:00": {"speed": {"middleValue": 0,"count": 0,"highestValue": 0,"lowestValue": 0,"timestamp": 1627689660790}},"08:02:00": {"speed": {"middleValue": 0,"count": 0,"highestValue": 0,"lowestValue": 0,"timestamp": 1627689720790}},"08:03:00": {"speed": {"middleValue": 0,"count": 0,"highestValue": 0,"lowestValue": 0,"timestamp": 1627689780790}},"08:04:00": {"speed": {"middleValue": 0,"count": 0,"highestValue": 0,"lowestValue": 0,"timestamp": 1627689840790}},"08:05:00": {"speed": {"middleValue": 0,"count": 0,"highestValue": 0,"lowestValue": 0,"timestamp": 1627689900790}},"08:06:00": {"speed": {"middleValue": 0,"count": 0,"highestValue": 0,"lowestValue": 0,"timestamp": 1627689960790}},"08:07:00": {"speed": {"middleValue": 0,"count": 0,"highestValue": 0,"lowestValue": 0,"timestamp": 1627690020790}},"08:08:00": {"speed": {"middleValue": 0,"count": 0,"highestValue": 0,"lowestValue": 0,"timestamp": 1627690080790}},"08:09:00": {"speed": {"middleValue": 0,"count": 0,"highestValue": 0,"lowestValue": 0,"timestamp": 1627690140790}},"08:10:00": {"speed": {"middleValue": 0,"count": 0,"highestValue": 0,"lowestValue": 0,"timestamp": 1627690200790}},"08:11:00": {"speed": {"middleValue": 0,"count": 0,"highestValue": 0,"lowestValue": 0,"timestamp": 1627690260790}},"08:12:00": {"speed": {"middleValue": 0,"count": 0,"highestValue": 0,"lowestValue": 0,"timestamp": 1627690320790}}}
}

可以看到，响应体json中的data为时序数据，vortex metrics默认的统计窗口为1分钟，默认滚动保留前60条记录，也就是用户可以通过界面看到前60分钟的统计数据。其中，highestValue，lowestValue，middleValue分别代表最大值，最小值，平均值，count是 这1分钟内的数据条数，timestamp是时间戳，准确点讲，是这1分钟内最后一条数据的时间戳。
说明一下，vortex metrics默认的统计窗口，保留前多少条记录，可以通过配置文件设置的，但系统需要重启才能生效。

如何监控指标

vortex metrics框架为了方便用户内置了3个不同数据类型的测试接口：

  1. http://localhost:6150/metrics/test/bigint/{name}/{metric}
  2. http://localhost:6150/metrics/test/numeric/{name}/{metric}
  3. http://localhost:6150/metrics/test/bool/{name}/{metric}
    都是GET方式，设置name和metric参数即可

这里还是以统计小汽车的平均速度为例，数据上报地址为：
http://localhost:6150/metrics/test/bigint/car/speed

打开压测工具，这里以JMeter为例

  • 设置线程组
    image.png
  • 设置HTTP请求
    image.png
    （关于Jmeter如何使用，大家可以自行百度，这里仅供测试）
  • 点击绿色箭头运行

然后在界面中，location输入框里查询接口地址：
http://localhost:6150/metrics/sequence/bigint/car/speed
点击search, 可以看到：
image.png

vortex metrics集群如何保证数据一致性？

vortex metrics集群内的应用节点通过内部网络通讯（默认Netty4实现）实现相互复制，保证数据的最终一致性，即每个节点的数据最终都是一致的，全量的。
比如现在再起2台服务，端口分别为6151和6152
这样的话，
http://localhost:6151/metrics/sequence/bigint/car/speed
http://localhost:6152/metrics/sequence/bigint/car/speed
http://localhost:6150/metrics/sequence/bigint/car/speed
这3个不同地址的接口返回的数据是应该是最终一致的
localhost:6151:
image.png
localhost:6152
image.png
如图，应用启动之后加入到vortex metrics集群，应用间会互相同步数据，达到最终一致的。

然后现在对任一一台服务进行压测，比如端口为6152的服务
观察localhost:6150地址的接口数据变化：
image.png
结果验证了vortex metrics集群中应用数据是双向同步的。

前面说过，vortex metrics是内存计算型的，即计算结果是驻留在内存中的，同步之后，多个应该同样是占据大量的内存，如果存在大量的指标数据，可能会有延迟，所以vortex metrics不适用于存储大量指标的运算场景，但是你可以部署多个vortex metrics集群来解决这个问题，目前经压测，单集群可以较好的支持1000个左右的指标数据的业务场景，高并发下延迟保持在1~5分钟内。

如何保存历史数据

前面说到，vortex metrics默认的统计窗口为1分钟，滚动保留前60条记录，那如果你想保留之前的历史记录，需要另外做开发。
首先要实现接口：

public interface MetricEvictionHandler<I, T extends Metric<T>> {void onEldestMetricRemoval(I identifier, String metric, T metricUnit);}

具体可参考：LoggingMetricEvictionHandler类（默认实现）
你还要实现接口：

public interface MetricSequencerFactory {GenericUserMetricSequencer<String, BigInt> getBigIntMetricSequencer();GenericUserMetricSequencer<String, Numeric> getNumericMetricSequencer();GenericUserMetricSequencer<String, Bool> getBoolMetricSequencer();}

具体可参考：DefaultMetricSequencerFactory类（默认实现）
最后，附上vortex metrics的源码地址：
https://github.com/paganini2008/vortex.git

这篇关于分布式时序计算框架vortex metrics使用介绍的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/906561。

相关文章

Java使用Javassist动态生成HelloWorld类

Java使用Javassist动态生成HelloWorld类

《Java使用Javassist动态生成HelloWorld类》Javassist是一个非常强大的字节码操作和定义库,它允许开发者在运行时创建新的类或者修改现有的类,本文将简单介绍如何使用Javass... 目录1. Javassist简介2. 环境准备3. 动态生成HelloWorld类3.1 创建CtC
阅读更多...
使用Python批量将.ncm格式的音频文件转换为.mp3格式的实战详解

使用Python批量将.ncm格式的音频文件转换为.mp3格式的实战详解

《使用Python批量将.ncm格式的音频文件转换为.mp3格式的实战详解》本文详细介绍了如何使用Python通过ncmdump工具批量将.ncm音频转换为.mp3的步骤,包括安装、配置ffmpeg环... 目录1. 前言2. 安装 ncmdump3. 实现 .ncm 转 .mp34. 执行过程5. 执行结
阅读更多...
Java使用jar命令配置服务器端口的完整指南

Java使用jar命令配置服务器端口的完整指南

《Java使用jar命令配置服务器端口的完整指南》本文将详细介绍如何使用java-jar命令启动应用,并重点讲解如何配置服务器端口,同时提供一个实用的Web工具来简化这一过程,希望对大家有所帮助... 目录1. Java Jar文件简介1.1 什么是Jar文件1.2 创建可执行Jar文件2. 使用java
阅读更多...
C#使用Spire.Doc for .NET实现HTML转Word的高效方案

C#使用Spire.Doc for .NET实现HTML转Word的高效方案

《C#使用Spire.Docfor.NET实现HTML转Word的高效方案》在Web开发中,HTML内容的生成与处理是高频需求,然而,当用户需要将HTML页面或动态生成的HTML字符串转换为Wor... 目录引言一、html转Word的典型场景与挑战二、用 Spire.Doc 实现 HTML 转 Word1
阅读更多...
Python实现精确小数计算的完全指南

Python实现精确小数计算的完全指南

《Python实现精确小数计算的完全指南》在金融计算、科学实验和工程领域,浮点数精度问题一直是开发者面临的重大挑战,本文将深入解析Python精确小数计算技术体系,感兴趣的小伙伴可以了解一下... 目录引言：小数精度问题的核心挑战一、浮点数精度问题分析1.1 浮点数精度陷阱1.2 浮点数误差来源二、基础解决
阅读更多...
Java中的抽象类与abstract 关键字使用详解

Java中的抽象类与abstract 关键字使用详解

《Java中的抽象类与abstract关键字使用详解》：本文主要介绍Java中的抽象类与abstract关键字使用详解,本文通过实例代码给大家介绍的非常详细,感兴趣的朋友跟随小编一起看看吧... 目录一、抽象类的概念二、使用 abstract2.1 修饰类 => 抽象类2.2 修饰方法 => 抽象方法，没有
阅读更多...
MyBatis ParameterHandler的具体使用

MyBatis ParameterHandler的具体使用

《MyBatisParameterHandler的具体使用》本文主要介绍了MyBatisParameterHandler的具体使用,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参... 目录一、概述二、源码1 关键属性2.setParameters3.TypeHandler1.TypeHa
阅读更多...
Spring 中的切面与事务结合使用完整示例

Spring 中的切面与事务结合使用完整示例

《Spring中的切面与事务结合使用完整示例》本文给大家介绍Spring中的切面与事务结合使用完整示例,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考... 目录 一、前置知识：Spring AOP 与 事务的关系 事务本质上就是一个“切面”二、核心组件三、完
阅读更多...
使用docker搭建嵌入式Linux开发环境

使用docker搭建嵌入式Linux开发环境

《使用docker搭建嵌入式Linux开发环境》本文主要介绍了使用docker搭建嵌入式Linux开发环境,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面... 目录1、前言2、安装docker3、编写容器管理脚本4、创建容器1、前言在日常开发全志、rk等不同
阅读更多...
使用Python实现Word文档的自动化对比方案

使用Python实现Word文档的自动化对比方案

《使用Python实现Word文档的自动化对比方案》我们经常需要比较两个Word文档的版本差异,无论是合同修订、论文修改还是代码文档更新,人工比对不仅效率低下,还容易遗漏关键改动,下面通过一个实际案例... 目录引言一、使用python-docx库解析文档结构二、使用difflib进行差异比对三、高级对比方
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2