云卷云舒:论超级数据库、算网数据库、智算数据库

2024-02-10 16:04

本文主要是介绍云卷云舒:论超级数据库、算网数据库、智算数据库,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

笔者大胆提出一种“超级数据库”的概念设想。

一、超级能力

就像当初提出“超级计算机”一样,我们是否同样可以提出“超级数据库”的概念呢?当然不是不可以。

二、超级计算机

我们回忆一下“超级计算机”的发展之路,大致经过了如下几个环节:

  • 晶体管计算机:实现体积缩小
  • 半导体集成电路:集成在半导体晶片上的晶体管数量将每两年翻一倍的速度增长,这就是著名的“摩尔定律”,至今依然有效。
  • 芯片:体积进一步缩小,比如CPU和GPU,上百亿的晶体管的容纳。
  • 超级计算机:复杂高难计算,将无数的芯片集成起来,就是超级计算机了。支持至少1-亿次计算/S
  • 银行二号:并行计算突破,10亿次
  • 天河一号:GPU和CPU形成异构融合体系,千万亿次,6144哥CPU+5120GPU,在2010年全球首座。
  • 神威太湖之光:算力已达到10亿亿次。

三、算力概念

智算=CPU+GPU+xAI

算力网络:多个云计算,通过网络(光纤、5G)组合起来,通用算力+超级算力+智算+量子计算。通过算网大脑灵活智能调度,赋能数据经济,实现数字经济时代的“南水北调、西电东送”等超级工程,如“东数西存、东数西算”。

四、算力网络背后的技术坐标

  • 算力:计算底座(主机)、计算引擎(数据库),各类芯片加持下的新型计算产品XPU;
  • 网络:5G、光纤
  • 存力:各类芯片加持
  • 算网大脑:调度、运营、服务

五、超级数据库

再次回顾“超级计算机”,数据库的演进惊人的相似。

  • 稳定安全大容量:IBM大型机+DB2,成本高,银行和民航才用得起;
  • 大型机替代方案:小型数据库+oracle软件,HP横空出世,成本大幅降低,在电信、金融行业有了市场,DB2被打翻;
  • 走向细分:OLTP(oracle依然傲娇)、OLAP(开源突破,PG崭露头角,oracle在AP市场被蚕食)
  • 算力细分、智能化:OLTP(oracle中间退伍,分布式理念让MySQL等开源TP数据库大兴)、OLAP市场更加兴旺,大数据技术链“体系化”出现,oracle彻底没了市场。这一时代,成本大降,但是数据库的维护、数据管控复杂度大大提升,甚至需要组件数据库团队。

和“超级计算机”类似,都是从“小算力”-->“大规模集成算力”-->“连接型(网络型)算力+智能编排调度”演进,那么数据库作为一种常见的“算力”也要做出改变,但经常被很多“算力”服务商所忽略,其实:

算力的范围应该是:计算机+OS+数据库。网络的范围是:骨干/传输+接入+云内/云间。

那么算力网络时代的“超级工程”,具备“算网数据库、智算数据库、量算数据库”整合能力。“多态”、“连接”、“智能”是标准三件套,算网时代数字生态的构建是“超级数据库”的需求爆点

  • 能力图谱:

    • 为了支撑客户全国性调度的需求,光靠数据库本身不行,数据库的周边生态工具需要发展起来,比如“高效/安全传输”、“数据治理套件”、“数据冷热调度器”、“智能数据网关”。
    • 数据碎片化分布、大体量的传输,对于安全提出了较高的要求,这里面应该建设专门的“数据安全高效传输专用通道”,甚至“专有协议”,一切为了安全和高效。
    • 数据库的技术重点:也将随着数据库所在位置(端、近、远)有所侧重,端侧侧重实时计算、近侧侧重有限事务协同+端侧管控+模型应用、远侧侧重全局事务管控+模型管理。这里面,近侧和远侧的场景就十分适合放在“智算中心”进行管理。
    • 算云网边端,五位一体,那么数据库是否依然有五种对应的形态呢?没有5种起码也有三种,适配端侧(内嵌)、近侧(边缘)、远侧(集中)。
  • 调度中枢:

    • 这里指的是“超级数据库”的调度中枢,它与“算网大脑”可以说是一个上下位的关系。
      • 算网大脑负责全局资源管控、算力调度,而调度中枢专门指的是调度“超级数据库”体系内部数据的“数据调度中枢”,算网大脑侧重于全局资源的均衡,调度中枢则更多的关注数据的冷热分层、查询效率、数据一致性。
      • 但是二者相似的事是,都需要针对全局资源统管可见,这一点上,调度中枢需要同意遵循“算网大脑”的“上位编排”。
      • 之所以叫“超级数据库”,是指的“超大规模、超复杂架构”的数据都存在一个数据库体系内。
  • 生态演进:

    • 那么应用场景在哪里?派生新的通用行业-“数据行业”。目前可见如此大的“超级数据库”,应用的场景还是“分布式领域”,有两个场景:
      • 全国性大客户,客户业务或数据遍及全国,需要针对数据层面的管理和调度需求,如大中型央国企、大型医药/教育/工业/电商平台。
      • 从云服务上本身来看,实现全网数据库的同一纳管,实现资源总量的集中化运营,可以大幅提高资源利用效率,利用空闲区域数据库分担繁忙区域的“非热”数据,成本实现最佳。
      • 从衍生价值来看,在“超级数据库”中,如此多的数据实现了“统一管理”,除了满足全网的随时访问、安全保管、数据存储之外,还应该充分挖掘衍生价值,比如“数据超市”、“数据快递”、“超级备份中心”、“数据试验田”、“大模型中心”、“数据分析大表”等,更充分的赋能“算力时代”,打造更多的算网应用。
      • 从需求孵化角度,我们需要持续提升数据库价值挖掘,打造新型通用行业“数据行业”,覆盖全局。

六、超级数据库、算网数据库、智算数据库

        算力网络时代已经来临,超大算力芯片和网络已然布局,越来越多的“智算中心”不断投产,我们需要更加加速构建上层算网应用生态,除了关注传统的“物理机、虚拟机”算力,需要更多去关注能够产生更加广阔价值的paas算网应用,比如“超级数据库、算网数据库、智算数据库”,其实在计算机发展历程上看,并不是一个东西,而是一个演进的过程。

        但是在如今,时不我待,大胆创新突破,正当数字经济时代的“弄潮儿”,我们需要基于成熟的技术和算网生态体系,打造“超级数据库、算网数据库、智算数据库”(我这里统称“超级数据库”)。

参考文章:

云卷云舒:算力网络+云原生(下):云数据库发展的新篇章-CSDN博客


云卷云舒:算力网络+云原生(中):探索构建算力网络数据库_云卷云舒 csdn-CSDN博客

云卷云舒:算力网络+云原生(上):打造云网边端协同架构_算力网络和云原生-CSDN博客

这篇关于云卷云舒:论超级数据库、算网数据库、智算数据库的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/697527

相关文章

SQL Server修改数据库名及物理数据文件名操作步骤

《SQLServer修改数据库名及物理数据文件名操作步骤》在SQLServer中重命名数据库是一个常见的操作,但需要确保用户具有足够的权限来执行此操作,:本文主要介绍SQLServer修改数据... 目录一、背景介绍二、操作步骤2.1 设置为单用户模式(断开连接)2.2 修改数据库名称2.3 查找逻辑文件名

SQL Server数据库死锁处理超详细攻略

《SQLServer数据库死锁处理超详细攻略》SQLServer作为主流数据库管理系统,在高并发场景下可能面临死锁问题,影响系统性能和稳定性,这篇文章主要给大家介绍了关于SQLServer数据库死... 目录一、引言二、查询 Sqlserver 中造成死锁的 SPID三、用内置函数查询执行信息1. sp_w

Druid连接池实现自定义数据库密码加解密功能

《Druid连接池实现自定义数据库密码加解密功能》在现代应用开发中,数据安全是至关重要的,本文将介绍如何在​​Druid​​连接池中实现自定义的数据库密码加解密功能,有需要的小伙伴可以参考一下... 目录1. 环境准备2. 密码加密算法的选择3. 自定义 ​​DruidDataSource​​ 的密码解密3

Maven项目中集成数据库文档生成工具的操作步骤

《Maven项目中集成数据库文档生成工具的操作步骤》在Maven项目中,可以通过集成数据库文档生成工具来自动生成数据库文档,本文为大家整理了使用screw-maven-plugin(推荐)的完... 目录1. 添加插件配置到 pom.XML2. 配置数据库信息3. 执行生成命令4. 高级配置选项5. 注意事

在Java中基于Geotools对PostGIS数据库的空间查询实践教程

《在Java中基于Geotools对PostGIS数据库的空间查询实践教程》本文将深入探讨这一实践,从连接配置到复杂空间查询操作,包括点查询、区域范围查询以及空间关系判断等,全方位展示如何在Java环... 目录前言一、相关技术背景介绍1、评价对象AOI2、数据处理流程二、对AOI空间范围查询实践1、空间查

Python+PyQt5实现MySQL数据库备份神器

《Python+PyQt5实现MySQL数据库备份神器》在数据库管理工作中,定期备份是确保数据安全的重要措施,本文将介绍如何使用Python+PyQt5开发一个高颜值,多功能的MySQL数据库备份工具... 目录概述功能特性核心功能矩阵特色功能界面展示主界面设计动态效果演示使用教程环境准备操作流程代码深度解

MySQL数据库实现批量表分区完整示例

《MySQL数据库实现批量表分区完整示例》通俗地讲表分区是将一大表,根据条件分割成若干个小表,:本文主要介绍MySQL数据库实现批量表分区的相关资料,文中通过代码介绍的非常详细,需要的朋友可以参考... 目录一、表分区条件二、常规表和分区表的区别三、表分区的创建四、将既有表转换分区表脚本五、批量转换表为分区

MySQL Workbench工具导出导入数据库方式

《MySQLWorkbench工具导出导入数据库方式》:本文主要介绍MySQLWorkbench工具导出导入数据库方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝... 目录mysql Workbench工具导出导入数据库第一步 www.chinasem.cn数据库导出第二步

Mysql数据库中数据的操作CRUD详解

《Mysql数据库中数据的操作CRUD详解》:本文主要介绍Mysql数据库中数据的操作(CRUD),详细描述对Mysql数据库中数据的操作(CRUD),包括插入、修改、删除数据,还有查询数据,包括... 目录一、插入数据(insert)1.插入数据的语法2.注意事项二、修改数据(update)1.语法2.有

查看MySQL数据库版本的四种方法

《查看MySQL数据库版本的四种方法》查看MySQL数据库的版本信息可以通过多种方法实现,包括使用命令行工具、SQL查询语句和图形化管理工具等,以下是详细的步骤和示例代码,需要的朋友可以参考下... 目录方法一:使用命令行工具1. 使用 mysql 命令示例:方法二:使用 mysqladmin 命令示例:方