分布式分析型数据库:星环科技ArgoDB 3.2正式发布

2023-11-22 14:32

本文主要是介绍分布式分析型数据库:星环科技ArgoDB 3.2正式发布,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Transwarp ArgoDB是星环科技自主研发的高性能分布式分析型数据库,在PB级数据量上提供极致的数据分析能力。多模型数据库ArgoDB支持标准SQL语法、分布式事务和存算解耦,提供高并发高速数据写入、复杂查询、多模分析和数据联邦等能力。通过一个ArgoDB数据库,就可以打造离线数据仓库、实时数据仓库、数据集市和联邦计算平台等数据分析系统,提供全面、便捷、智能和安全的数据服务能力。

2021年6月信通院发布《数据库发展研究报告(2021年)》,报告指出数据库技术不断发展,向三个方向演进—易用性、性能和安全。ArgoDB 3.2重点围绕这三个方面进行迭代增强与优化升级并正式发布。

提升易用性、降低使用成本

原生支持大对象数据存储,增强多模型数据处理能力,满足更多“一库多用“场景

在后关系型数据库阶段,数据结构越来越灵活多样、业务类型越来越复杂多变,为应对此类现状,越来越多的用户选择通过多模型数据库实现“一库多用“,将各种类型的数据进行集中存储、查询和处理,满足对结构化、半结构化和非结构化数据的统一管理需求。

在已有的数据类型基础上,多模型数据库ArgoDB 3.2 原生支持大对象数据类型Blob和Clob,可以用来存储、查询和处理图片、电子文档、音频、视频等非结构化数据,满足了更多数据模型处理场景,简化系统架构、减少开发运维成本和提升用户体验,满足更多复杂业务需求。

以国内某三甲医院为例,经过十多年的信息化建设,该医院已经初步建立了HIS(医院信息系统)、LIS(实验室信息管理系统)、PACS(影像归档和通信系统)、电子病历等多套信息系统,并积累了大量的临床数据。除了结构化、半结构化数据,还有海量、高价值的医疗影像等非结构化数据。为了存储、查询和处理这些不同类型的数据,这些系统独立建设、缺乏集成、元数据不统一和标准不统一,给数据的查询和处理带来重重困难。为了解决这些问题,加速医院业务数字化发展,医院基于多模型数据库ArgoDB建设了临床数据中心底层大数据平台,将医院中各种类型的数据(例如电子病历、医疗影像、检验报告、生物样本和文献等)集中在ArgoDB中存储、查询和处理,并能够满足跨不同数据模型的复杂分析需求,从而充分发掘医疗数据的宝贵价值,最终提高医疗质量、降低医疗成本。

新增智能建表功能,简化建表流程,降低业务迁移成本

随着业务形态越来越复杂多样,在建表时如何设置参数使得数据查询和分析效率最大化成为一个问题。在业务迁移时,庞大的库表数量也需要耗费精力来配置参数。ArgoDB自主研发多模型数据库优化器Gluon,自研多种计算优化技术,在建表时可以通过设置一些参数来提升数据查询和分析效率。

为了在最大化数据查询和分析效率的同时简化建表流程,ArgoDB 3.2新增智能建表算法,在建表时能够自动设置参数,用户无需手动配置参数就能够体验ArgoDB的极致性能表现。在某集团业务迁移过程中,智能建表功能为数万张表自动配置合适的参数,帮助用户大大降低了业务迁移成本。

开箱即用的运维工具,新增两种典型场景监控,增强运维监控能力

随着数据量越来越多和业务越来越复杂,数据库运维管理人员面临的挑战也越来越大。为了帮助运维管理人员提升运维效率和降低运维成本,ArgoDB提供开箱即用的数据库运维工具,运维管理人员可以通过界面化的方式进行日常操作。

为了方便发现、定位和排查风险,ArgoDB3.2新增两种典型场景监控:小文件合并状态监控与数据分布状态监控,进一步丰富了监控指标,用户可以结合业务需求灵活地调整数据管理策略,从而保障数据库系统稳定、高效的运行。

高达7倍的性能提升

高达5倍的OLAP性能提升

面对业务形态多样、商业模式多变、需求变化频繁,如何在海量数据中高效完成数据分析,成为快速获取商业洞察的关键所在。ArgoDB 3.2针对OLAP场景做了许多性能优化工作并提升了性能表现,例如典型窗口函数计算场景性能可提升5倍;新增智能多表复杂Join算法,能够自动识别Join过程中的大小表,选择最佳的Join优化算法,从而提升Join效率。

存算解耦场景性能提升7倍

存算解耦是未来数据库架构演进的重要趋势。存算解耦,顾名思义就是存储引擎和计算引擎可以独立按需进行扩容和缩容,要多少计算扩容多少计算,要多少存储扩容多少存储,避免浪费,提高分析效率。例如星环数据云平台(TDC)可以利用ArgoDB存储和计算解耦合的特性,灵活合理地按需分配资源。

在存算解耦合场景中,计算任务与数据可能不在同一节点上,此时计算任务会远程读取非本地节点的数据并导致查询和分析性能下降。为了提升存算解耦合场景的查询和分析效率,ArgoDB3.2计算任务对非本地节点的数据读取性能提升了7倍。该优化增强了存算解耦场景下的性能表现,能够帮助用户更好地应对复杂多变的业务需求。

性能测试

TPC是全球最知名非盈利的数据管理系统评测基准标准化组织,TPC-H和TPC-DS是业界常用的性能测试基准之一,主要用于评测数据库的分析型查询能力。

在TPC-H 1T测试中,ArgoDB产品性能是ClickHouse的5.7倍。在TPC-DS 1T测试中,ArgoDB产品性能是Spark的1.6倍。

TPC-H 1T测试性能对比

TPC-DS 1T测试性能对比

更多认证机制,保障数据安全

支持多种安全认证机制,灵活应对数据安全需求

2021,我国第一部关于数据安全的法律《中华人民共和国数据安全法》正式实施,如何做好数据安全建设成为各行业最为关注的问题之一。为了充分保障用户业务安全,ArgoDB提供完整的数据安全防护体系,包括用户识别,权限控制,安全审计,数据加密,数据脱敏、数据备份、容灾等。

为了满足更多场景的数据安全需求,ArgoDB3.2在Kerberos、LDAP、CAS等认证机制基础上,新增Oauth 2.0认证机制,提供更丰富的认证机制,帮助用户灵活应对不同场景的数据安全需求。

以上便是星环科技多模型数据库ArgoDB3.2特性介绍:便捷易用的产品体验,不断提升的性能表现,灵活强大的安全防护能力。未来,星环科技多模型数据库ArgoDB将继续坚持自主研发与技术创新,围绕易用性、产品性能、数据安全等方面不断打磨。在降低平台复杂性和IT总拥有成本的同时,让用户更全面、更便捷、更智能、更安全地运用数据。

典型案例

ArgoDB广泛应用于金融、政府、能源、交通、运营商等各行业。国家邮政局是副部级国家局单位,负责拟订邮政行业政策和规划,以及承担邮政(含快递公司)监管责任。为了推进邮政寄递渠道安全监管“绿盾“工程建设,国家邮政局基于星环实时流计算引擎Slipstream和分布式分析型数据库ArgoDB构建了实时邮政监管平台。平台为多个应用系统提供实时的数据采集、存储、查询和处理等服务,满足了离线业务、在线业务、即席查询、报表查询等需求,支持了7大业务板块,完成了对全国37家快递企业的实时监管。不同快递企业和电商平台的快递面单、电商数据等不同类型数据通过Slipstream流计算引擎实时写入ArgoDB,写入性能达到了数百万记录/秒,每天接入70亿业务数据,累计接入了PB级海量数据。在高并发高速写入数据时,通过分布式事务处理能力保证每天接入的70亿业务数据不丢失不重复,数据入库即可进行查询和分析。业务人员直接使用标准SQL和传统数据库方言进行复杂检索、统计和分析,降低了数据使用门槛,提升了业务效率。在业务高峰时,能够支撑数百名业务人员同时交互式复杂查询分析。

来源:https://www.transwarp.cn/product/argodb

这篇关于分布式分析型数据库:星环科技ArgoDB 3.2正式发布的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/410821

相关文章

SQL Server修改数据库名及物理数据文件名操作步骤

《SQLServer修改数据库名及物理数据文件名操作步骤》在SQLServer中重命名数据库是一个常见的操作,但需要确保用户具有足够的权限来执行此操作,:本文主要介绍SQLServer修改数据... 目录一、背景介绍二、操作步骤2.1 设置为单用户模式(断开连接)2.2 修改数据库名称2.3 查找逻辑文件名

SQL Server数据库死锁处理超详细攻略

《SQLServer数据库死锁处理超详细攻略》SQLServer作为主流数据库管理系统,在高并发场景下可能面临死锁问题,影响系统性能和稳定性,这篇文章主要给大家介绍了关于SQLServer数据库死... 目录一、引言二、查询 Sqlserver 中造成死锁的 SPID三、用内置函数查询执行信息1. sp_w

MyBatis Plus 中 update_time 字段自动填充失效的原因分析及解决方案(最新整理)

《MyBatisPlus中update_time字段自动填充失效的原因分析及解决方案(最新整理)》在使用MyBatisPlus时,通常我们会在数据库表中设置create_time和update... 目录前言一、问题现象二、原因分析三、总结:常见原因与解决方法对照表四、推荐写法前言在使用 MyBATis

Python主动抛出异常的各种用法和场景分析

《Python主动抛出异常的各种用法和场景分析》在Python中,我们不仅可以捕获和处理异常,还可以主动抛出异常,也就是以类的方式自定义错误的类型和提示信息,这在编程中非常有用,下面我将详细解释主动抛... 目录一、为什么要主动抛出异常?二、基本语法:raise关键字基本示例三、raise的多种用法1. 抛

github打不开的问题分析及解决

《github打不开的问题分析及解决》:本文主要介绍github打不开的问题分析及解决,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、找到github.com域名解析的ip地址二、找到github.global.ssl.fastly.net网址解析的ip地址三

Mysql的主从同步/复制的原理分析

《Mysql的主从同步/复制的原理分析》:本文主要介绍Mysql的主从同步/复制的原理分析,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录为什么要主从同步?mysql主从同步架构有哪些?Mysql主从复制的原理/整体流程级联复制架构为什么好?Mysql主从复制注意

java -jar命令运行 jar包时运行外部依赖jar包的场景分析

《java-jar命令运行jar包时运行外部依赖jar包的场景分析》:本文主要介绍java-jar命令运行jar包时运行外部依赖jar包的场景分析,本文给大家介绍的非常详细,对大家的学习或工作... 目录Java -jar命令运行 jar包时如何运行外部依赖jar包场景:解决:方法一、启动参数添加: -Xb

Apache 高级配置实战之从连接保持到日志分析的完整指南

《Apache高级配置实战之从连接保持到日志分析的完整指南》本文带你从连接保持优化开始,一路走到访问控制和日志管理,最后用AWStats来分析网站数据,对Apache配置日志分析相关知识感兴趣的朋友... 目录Apache 高级配置实战:从连接保持到日志分析的完整指南前言 一、Apache 连接保持 - 性

Druid连接池实现自定义数据库密码加解密功能

《Druid连接池实现自定义数据库密码加解密功能》在现代应用开发中,数据安全是至关重要的,本文将介绍如何在​​Druid​​连接池中实现自定义的数据库密码加解密功能,有需要的小伙伴可以参考一下... 目录1. 环境准备2. 密码加密算法的选择3. 自定义 ​​DruidDataSource​​ 的密码解密3

Maven项目中集成数据库文档生成工具的操作步骤

《Maven项目中集成数据库文档生成工具的操作步骤》在Maven项目中,可以通过集成数据库文档生成工具来自动生成数据库文档,本文为大家整理了使用screw-maven-plugin(推荐)的完... 目录1. 添加插件配置到 pom.XML2. 配置数据库信息3. 执行生成命令4. 高级配置选项5. 注意事