告别高昂存储,高效灵活管理数据

2023-12-23 09:52

本文主要是介绍告别高昂存储,高效灵活管理数据,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

前言

在当今数字化时代,企业面临着海量数据的挑战,这些数据承载着技术创新和业务发展的重要使命。因此,高效、安全地收集、存储和管理数据成为了企业关注的焦点。对于需要长期储存且低频聚合分析的数据,组织需要更加低成本和便捷的方式储存利用这些数据。观测云利用数据转发提供新的解决方案,帮助用户将需要储存的数据转发至第三方外部存储,这样不仅有效降低用户的成本,也能够方便用户在观测云中直接查看和灵活管理第三方存储的数据。因此,本文将讨论这一解决方案的配置和实际场景示例,让用户用更低的成本实现更便捷灵活地管理数据。

数据转发

观测云提供多种的数据转发和存储方式,帮助用户灵活管理和转发数据。您可以自定义数据转发规则,将日志、链路和用户访问数据保存到观测云的对象存储,或转发到第三方外部存储,包括 AWS S3、华为云 OBS、阿里云 OSS 和 Kafka 消息队列等存档类型。

配置个性化转发规则

您可以在管理>数据转发>转发规则中新建转发规则。创建完成后,若上报数据匹配到了转发规则中的配置,则会将匹配的数据做转存处理。

前提条件:使用商业版观测云,详情参见:升级商业版 - 观测云文档

步骤一:输入规则名称

您可以自定义规则名称,并选择需要转发的数据是否包含扩展字段,若您若勾选了 “包含扩展字段”,符合条件的整条日志数据都会被转发,但应用性能和用户访问数据默认转发整条数据,不受此选项影响。

步骤二:定义过滤条件

接下来您可以自由选择数据源,包括日志、链路、用户访问,并可以自定义数据源的过滤条件,即满足所有条件或任意条件的数据就会被保存到数据转发。其中条件运算符 in / not in 够将数据进行精准匹配,您可以选择多个值;match / not match 支持输入正则表语法去进行模糊匹配,快速过滤需转发的数据。

当然,您也可以不填写过滤条件,即可保存全部日志/链路/用户访问数据。以日志为例,如下图所示:

步骤三:选择存档类型

观测云提供了更加全面的数据转发存储方式,您可以根据实际情况和需求自由选择存储类型。支持五种存储路径:观测云、 AWS S3、华为云 OBS、阿里云 OSS 和 Kafka 消息队列。

观测云

当您选择数据转发存储对象为观测云,观测云为您提供匹配到的数据将被保存到观测云侧的 OSS、S3、OBS 对象存储中。该规则下的数据最低存储默认为 180 天。当然,您也可以在管理 > 设置中按需修改数据存储策略,高效完成同一平台统一观测、管理、存储数据。

当然,若您已使用 AWS S3、华为云 OBS、阿里云 OSS 和 Kafka 消息队列来存储数据,观测云也可以通过多种授权方式助力您跨平台共享云资源。

AWS S3

当您存档类型选择 AWS S3 时,根据不同的访问类型,您将需要填写不同的存档信息,还能够直接测试连接,确定已填的信息是否规范,安全规范地将匹配到的数据保存到 S3 对象存储。

  • 角色授权:您需使用观测云默认生成的外部 ID 配置 AWS 资源第三方访问权。在 AWS 中配置观测云 IAM 角色后(参见:https://docs.guance.com/management/role-auth/),填写 AWS 账号 ID、AWS 角色名称、地区及 Bucket 名称等存档信息。

  • Access Keys:您需要下载 AWS 资源授权模板后,配置观测云 IAM 策略。填写账号信息,输入 AWS 账号 ID、AWS AK & SK、地区及 Bucket 名称即可。

  • 账号授权:AWS 提供跨账号授权能力,您需使用观测云专属的账号 ID 并依据配置说明添加跨账号访问授权策略;完成后,选择地区并输入存储桶名称即可。

观测云专属账号相关详情,参见:数据转发 - 观测云文档

华为云 OBS

在配置华为云资源访问授权时,须使用观测云为您提供的专属华为云账号 ID ,前往华为云控制台添加跨账号访问授权策略。配置完成后,您只需选择地区,华为云存储桶的名称即可。同样的,您也可以进行测试连接以保证顺利访问。

阿里云 OSS

与 AWS S3 相似,观测云支持您通过角色授权、Access Keys、账号授权访问类型访问阿里云 OSS 中的数据资源,详细操作可以参考上述配置 AWS S3 过程。


 

Kafka 消息队列

不同的,当您填写地址和消息主题后,将数据转存到 Kafka 消息队列需要通过安全协议。在 Kafka 侧,SASL 可以使用 PLAINTEXT 或者 SSL 协议作为传输层,相对应的就是使用 SASL_PLAINTEXT 或者 SASL_SSL 安全协议。因此,详细配置如下:

  • 选择 PLAINTEXT 时,无需任何安全校验,您可以直接测试连接;
  • 选择 SASL_PLAINTEXT 时,认证方式可选 PLAIN、SCRAM-SHA-256 、 SCRAM-SHA-512 。您需要输入在 Kafka 侧执行安全认证的 username / password,再测试连接。

  • 选择 SASL_SSL 时,您需要上传 SSL 证书。认证方式可选 PLAIN、SCRAM-SHA-256 、 SCRAM-SHA-512。之后输入在 Kafka 侧执行安全认证的 username / password,再测试连接即可。

以上讲述了如何按照您自身对存储对象的需求,进行转发规则的配置,点击创建即可帮助您实现低成本长期存储、统一管理数据、灵活使用数据等目的。

灵活查看转发规则

除此之外,您还可以在转发规则列表页查看和搜索已创建的转发规则;同时,还支持您进行批量的操作,如启用、禁用、编辑、删除等。值得注意的是,当您的规则删除后已转发的数据不会被删除,只是不再产生新的转发数据了。

强大的转发规则查看器

当您回到数据转发页面,您可以下拉选定规则,并基于自定义时间,查询精确到小时范围内的转发数据。同时,您也可以输入关键字来搜索查询匹配数据,方便您快速了解转存的数据,从而利用数据做进一步的挖掘和分析。值得注意的是,数据转发规则创建完成后,每 5 分钟执行一次规则校验。

另外,在索引展示页中,您可以查看观测云历史备份日志和 SLS Query Logstore 数据,帮助您随时检索和使用相关数据。

场景示例

为您讲述完如何配置和管理转发规则,我们将以“日志数据转存到阿里云 OSS ”为例,让您更清晰的了解观测云数据转发的强大和魅力。
本示例中,我们利用 id in host 为条件过滤出相关的日志数据,并通过角色授权的方式创建转发规则,将数据转发到 阿里云 OSS 进行存储和后续调用。

结语

观测云提供的数据转发功能为组织和企业提供了强大的工具,用户可以轻松实现数据的长期备份和存储、节约成本、灵活管理数据等。随着数据量的不断增长和数据管理需求的提升,数据转发功能将继续发挥重要作用,帮助用户更好地管理和利用其数据资产。

这篇关于告别高昂存储,高效灵活管理数据的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/527616

相关文章

Java中调用数据库存储过程的示例代码

《Java中调用数据库存储过程的示例代码》本文介绍Java通过JDBC调用数据库存储过程的方法,涵盖参数类型、执行步骤及数据库差异,需注意异常处理与资源管理,以优化性能并实现复杂业务逻辑,感兴趣的朋友... 目录一、存储过程概述二、Java调用存储过程的基本javascript步骤三、Java调用存储过程示

MyBatisPlus如何优化千万级数据的CRUD

《MyBatisPlus如何优化千万级数据的CRUD》最近负责的一个项目,数据库表量级破千万,每次执行CRUD都像走钢丝,稍有不慎就引起数据库报警,本文就结合这个项目的实战经验,聊聊MyBatisPl... 目录背景一、MyBATis Plus 简介二、千万级数据的挑战三、优化 CRUD 的关键策略1. 查

python实现对数据公钥加密与私钥解密

《python实现对数据公钥加密与私钥解密》这篇文章主要为大家详细介绍了如何使用python实现对数据公钥加密与私钥解密,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录公钥私钥的生成使用公钥加密使用私钥解密公钥私钥的生成这一部分,使用python生成公钥与私钥,然后保存在两个文

MySQL之InnoDB存储引擎中的索引用法及说明

《MySQL之InnoDB存储引擎中的索引用法及说明》:本文主要介绍MySQL之InnoDB存储引擎中的索引用法及说明,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐... 目录1、背景2、准备3、正篇【1】存储用户记录的数据页【2】存储目录项记录的数据页【3】聚簇索引【4】二

mysql中的数据目录用法及说明

《mysql中的数据目录用法及说明》:本文主要介绍mysql中的数据目录用法及说明,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、背景2、版本3、数据目录4、总结1、背景安装mysql之后,在安装目录下会有一个data目录,我们创建的数据库、创建的表、插入的

MySQL之InnoDB存储页的独立表空间解读

《MySQL之InnoDB存储页的独立表空间解读》:本文主要介绍MySQL之InnoDB存储页的独立表空间,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、背景2、独立表空间【1】表空间大小【2】区【3】组【4】段【5】区的类型【6】XDES Entry区结构【

SQLite3 在嵌入式C环境中存储音频/视频文件的最优方案

《SQLite3在嵌入式C环境中存储音频/视频文件的最优方案》本文探讨了SQLite3在嵌入式C环境中存储音视频文件的优化方案,推荐采用文件路径存储结合元数据管理,兼顾效率与资源限制,小文件可使用B... 目录SQLite3 在嵌入式C环境中存储音频/视频文件的专业方案一、存储策略选择1. 直接存储 vs

在Golang中实现定时任务的几种高效方法

《在Golang中实现定时任务的几种高效方法》本文将详细介绍在Golang中实现定时任务的几种高效方法,包括time包中的Ticker和Timer、第三方库cron的使用,以及基于channel和go... 目录背景介绍目的和范围预期读者文档结构概述术语表核心概念与联系故事引入核心概念解释核心概念之间的关系

Navicat数据表的数据添加,删除及使用sql完成数据的添加过程

《Navicat数据表的数据添加,删除及使用sql完成数据的添加过程》:本文主要介绍Navicat数据表的数据添加,删除及使用sql完成数据的添加过程,具有很好的参考价值,希望对大家有所帮助,如有... 目录Navicat数据表数据添加,删除及使用sql完成数据添加选中操作的表则出现如下界面,查看左下角从左

SpringBoot中4种数据水平分片策略

《SpringBoot中4种数据水平分片策略》数据水平分片作为一种水平扩展策略,通过将数据分散到多个物理节点上,有效解决了存储容量和性能瓶颈问题,下面小编就来和大家分享4种数据分片策略吧... 目录一、前言二、哈希分片2.1 原理2.2 SpringBoot实现2.3 优缺点分析2.4 适用场景三、范围分片