解锁云原生虚拟数仓 PieCloudDB Database 『第一期』

2023-12-17 03:59

本文主要是介绍解锁云原生虚拟数仓 PieCloudDB Database 『第一期』,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

拓数派旗下旗舰产品 PieCloudDB ,采用领先的数仓虚拟化技术,为企业构建高安全,高可靠,高在线「坚如磐石」的云原生虚拟数仓。本系列文章将为大家介绍 PieCloudDB Database 最新动态和全新功能。

相关视频:链接

产品试用:https://app.pieclouddb.com

随着计算资源和网络资源的丰富,计算平台经历了从大型机年代,PC 机年代,到如今的云时代的三代平台变更。在第三次变革中,服务器虚拟化技术的突破引领了云计算时代的到来。 

三代计算平台变更 

为了充分利用云带来的红利,拓数派打造了一款全新的云时代的数据库管理平台:PieCloudDB。PieCloudDB 将用户数据,元数据和计算引擎三个逻辑核心组件进行拆解并在云上重组。这种存储和计算分离的架构带来了云上的高弹性,并具备了软硬分离的高容错和高在线能力。用户可以根据自身需求,按需进行存储或计算资源的弹性扩展。

数仓云原生虚拟化技术突破引领数据计算时代到来 

自2022年10月24日以来,拓数派陆续发布了 PieCloudDB 社区版和企业版,以及一体机版本。在3月14日 πDay,拓数派发布 PieCloudDB 全新版本:云上云版。至此,PieCloudDB 完成了对裸硬件,私有云,和公有云三种部署方式的全面支持。  

PieCloudDB 的多种部署方式 

在新版本中,PieCloudDB 全面实现数据仓库上云虚拟化。云原生数仓虚拟化突破了传统 MPP 数据库的众多瓶颈,实现了云上 eMPP 全新架构,做到多个云原生虚拟数仓并发执行。从而获得云上新架构提供的众多红利,包括打破数据孤岛,秒级扩缩容,动态调配资源,按需付费等。

PieCloudDB 实现云上eMPP架构 

新的版本实现了众多全新功能,带来了性能和稳定全方位的提升,让 PieCloudDB 做到了真正的「unbreakable」坚如磐石,包括: 

  • 聚集下推功能得到增强 

在数据库的分析型场景下往往存在大量的聚集运算。PieCloudDB 实现的聚集下推功能通过把聚集操作下推到连接操作之前去执行,可以大大减少链接操作需要处理的数据量,让查询性能显著提升。 

经测试,聚集下推让 PieCloudDB 在某些复杂查询的应用场景下得到了近百倍甚至千倍的提升。 

 

聚集下推功能 

  • Block File Skipping 优化

PieCloudDB 的用户数据以行列混存的数据格式被存储在对象存储中。 同时,PieCloudDB 以 block 文件为存储单位。Block 文件按列存储,从而获得高效的压缩,节省存储空间; PieCloudDB 在全新版本中实现的 Block File Skipping 的优化机制  在数据库运行查询语句时,通过预计算每个 block 文件中列聚集信息 ,在执行期间跳过非必要的数据块,从而减少数据读取量,提高查询性能。 

PieCloudDB 行列混存 

  • 实现极速 Analyze 

“Analyze” 操作可以分析数据库表的内容,收集有关每个表的每一列中值分布的统计信息。数据库查询引擎会利用这些统计信息生成最佳查询计划。 

对于大部分的数据库系统,Analyze 往往是手动执行,或由 AUTO VACUUM 自动执行,对于数据量较大的大表的查询,时间过长。 

在全新版本中,PieCloudDB 实现极速Analyze,可以在数据发生变化时自动完成Analyze,及时生成更为准确的查询规划统计信息。

  • 全新的缓存机制 

针对元数据,PieCloudDB 实现了元数据层全新的缓存机制,有效减少了访问元数据服务器带来的网络通信开销和元数据服务器的负载,提高元数据访问的速度。  

  • 支持快速 ETL/ELT、和外部数据源的查询 

PieCloudDB 在全新版本中,原生支持 Kafka 流数据导入。copy 操作由原先的单节点优化至整个集群,性能得到大幅提升,与集群尺寸成正比。 

此外,在全新版本中,PieCloudDB 支持 foreign-data wrapper 模块,使用户可以访问包括但不限于 HDFS、MySQL 等数据源。同时 PieCloudDB 支持用户自行开发模块来访问新的存储数据源。 

除了这五项重大优化,PieCloudDB 全新版本内核还实现了 

  • 可观测性增强
  • Vacuum 优化
  • 在 HDFS/NAS 系统上支持原生存储格式
  • 对 开源优化器 Orca 的支持
  • 对开源机器学习库 Madlib 的支持
  • 支持超大数据量字段

…. 

等多项优化。

PieCloudDB 打造了全新的存储引擎简墨(JANM) 。简墨出自”竹简墨书”,形象的描述了 PieCloudDB 行列混存的存储形式。 

在 PieCloudDB 的全新版本中,存储引擎 JANM 实现了: 

  • JANM 分布式处理的增强 
  • JANM 动态分配读取文件,增强 dispatch 性能 
  • JANM 异常处理的优化 

…. 

等多个功能。

PieCloudDB 云原生管控平台完成了包括: 

  • 用户权限优化 
  • 注册选项增加 
  • 数据洞察优化 
  • 数据导入优化 
  • 外部接入支持更多类型 

…. 

等多项优化。

PieCloudDB 将不断迭代,继续前行,欢迎大家前往https://app.pieclouddb.com 试用云上云版本。也期待大家扫码加入我们的技术社区,与我们携手共进!

这篇关于解锁云原生虚拟数仓 PieCloudDB Database 『第一期』的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:https://blog.csdn.net/OpenPie/article/details/130286454
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/502990

相关文章

SQL server数据库如何下载和安装

《SQLserver数据库如何下载和安装》本文指导如何下载安装SQLServer2022评估版及SSMS工具,涵盖安装配置、连接字符串设置、C#连接数据库方法和安全注意事项,如混合验证、参数化查... 目录第一步:打开官网下载对应文件第二步:程序安装配置第三部:安装工具SQL Server Manageme

C#连接SQL server数据库命令的基本步骤

《C#连接SQLserver数据库命令的基本步骤》文章讲解了连接SQLServer数据库的步骤,包括引入命名空间、构建连接字符串、使用SqlConnection和SqlCommand执行SQL操作,... 目录建议配合使用:如何下载和安装SQL server数据库-CSDN博客1. 引入必要的命名空间2.

全面掌握 SQL 中的 DATEDIFF函数及用法最佳实践

《全面掌握SQL中的DATEDIFF函数及用法最佳实践》本文解析DATEDIFF在不同数据库中的差异,强调其边界计算原理,探讨应用场景及陷阱,推荐根据需求选择TIMESTAMPDIFF或inte... 目录1. 核心概念:DATEDIFF 究竟在计算什么?2. 主流数据库中的 DATEDIFF 实现2.1

MySQL 多列 IN 查询之语法、性能与实战技巧(最新整理)

《MySQL多列IN查询之语法、性能与实战技巧(最新整理)》本文详解MySQL多列IN查询,对比传统OR写法,强调其简洁高效,适合批量匹配复合键,通过联合索引、分批次优化提升性能,兼容多种数据库... 目录一、基础语法:多列 IN 的两种写法1. 直接值列表2. 子查询二、对比传统 OR 的写法三、性能分析

MySQL中的LENGTH()函数用法详解与实例分析

《MySQL中的LENGTH()函数用法详解与实例分析》MySQLLENGTH()函数用于计算字符串的字节长度,区别于CHAR_LENGTH()的字符长度,适用于多字节字符集(如UTF-8)的数据验证... 目录1. LENGTH()函数的基本语法2. LENGTH()函数的返回值2.1 示例1:计算字符串

浅谈mysql的not exists走不走索引

《浅谈mysql的notexists走不走索引》在MySQL中,​NOTEXISTS子句是否使用索引取决于子查询中关联字段是否建立了合适的索引,下面就来介绍一下mysql的notexists走不走索... 在mysql中,​NOT EXISTS子句是否使用索引取决于子查询中关联字段是否建立了合适的索引。以下

Java通过驱动包(jar包)连接MySQL数据库的步骤总结及验证方式

《Java通过驱动包(jar包)连接MySQL数据库的步骤总结及验证方式》本文详细介绍如何使用Java通过JDBC连接MySQL数据库,包括下载驱动、配置Eclipse环境、检测数据库连接等关键步骤,... 目录一、下载驱动包二、放jar包三、检测数据库连接JavaJava 如何使用 JDBC 连接 mys

SQL中如何添加数据(常见方法及示例)

《SQL中如何添加数据(常见方法及示例)》SQL全称为StructuredQueryLanguage,是一种用于管理关系数据库的标准编程语言,下面给大家介绍SQL中如何添加数据,感兴趣的朋友一起看看吧... 目录在mysql中,有多种方法可以添加数据。以下是一些常见的方法及其示例。1. 使用INSERT I

Qt使用QSqlDatabase连接MySQL实现增删改查功能

《Qt使用QSqlDatabase连接MySQL实现增删改查功能》这篇文章主要为大家详细介绍了Qt如何使用QSqlDatabase连接MySQL实现增删改查功能,文中的示例代码讲解详细,感兴趣的小伙伴... 目录一、创建数据表二、连接mysql数据库三、封装成一个完整的轻量级 ORM 风格类3.1 表结构

MySQL 中的 CAST 函数详解及常见用法

《MySQL中的CAST函数详解及常见用法》CAST函数是MySQL中用于数据类型转换的重要函数,它允许你将一个值从一种数据类型转换为另一种数据类型,本文给大家介绍MySQL中的CAST... 目录mysql 中的 CAST 函数详解一、基本语法二、支持的数据类型三、常见用法示例1. 字符串转数字2. 数字