云卷云舒:独立式向量数据库?数据库向量式插件?

2024-01-13 09:44

本文主要是介绍云卷云舒:独立式向量数据库?数据库向量式插件?,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

云卷云舒:算力网络+云原生(下):云数据库发展的新篇章-CSDN博客https://blog.csdn.net/bishenghua/article/details/135050556

圈内人都知道,2023 年是向量数据库的元年,最初起源于 2023年3月英伟达的黄仁勋在 GTC 大会上提出的这个概念,后续一炮走红,研发潮、投资潮随之而来。

一、向量数据库定义

在传统的关系型数据库中,数据是以表格的形式存储的,而在向量数据库中,数据则是以向量的形式存储的。这种新型的数据库技术,能够更有效地处理和分析大数据,因此在大数据时代中受到了广泛的关注和应用。随着AI 应用的大规模落地普及,数据量得到了暴涨,数据复杂度也大幅提升,数据库需要提高对向量分析和 AI 应用的支持能力。所以向量数据库也是人工智能与数据库结合发展的一个趋势。多模能力(包括向量检索)让应用可以把结构化数据和非结构化数据统一处理,所以说向量数据库也是“数据库一体化”发展的一个体现

二、行业动态

  1. 2023年6月,九章云极 DataCanvas 将 DingoDB 升级为多模向量数据库,并已于去年开源。
  2. 7 月 4 日,腾讯云发布 AI 原生向量数据库。
  3. 11 月 15 日,中国信通院联合腾讯云计算(北京)有限责任公司、中移(苏州)软件技术有限公司、北京枫清科技有限公司(Fabarta)等多家企业共同编制的、国内首个向量数据库标准正式发布。

三、技术场景分析

 向量数据库专注于存储和处理向量数据,并提供高效的向量搜索和相似性匹配功能。这种数据库的出现是为了满足越来越多应用场景对于高维度数据和向量计算的需求

各数据库厂商和研究机构都在致力于改进向量数据库的算法和架构,以提高其处理大规模数据的能力。而且,根据黄仁勋的说法,英伟达将推出一个新的 RAFT库,用于加速索引、数据加载和近邻检索,并考虑将 RAFT 的加速引入到Milvus 开源向量数据库和Redis里面。有了巨头们的技术和资金支持,向量数据库的市场空间相信会十分巨大,国内就有机构预估,到 2030 年,全球向量数据库市场规模将达到 500 亿美元。

随着大数据和人工智能的快速发展,越来越多的应用和场景需要处理和分析向量数据,差异化的设计优势主要体现在提供向量和关系型数据库的混合检索能力。凭借解决了传统数据库单纯关系型检索的弊端,快速的赢得技术行业和投资高手们的青睐,认为发展前景喜人。

四、两种形态

向量数据库的两种形态:

第一种传统数据库上加上一个向量检索的插件;

第二种独立的企业级向量数据库。

1、声音一:独立演进

行业的调研提及到,更多的是在原来传统数据库上增加了一项向量检索能力,也就是第一种形态。

我们姑且从数据存储方式、数据容量级、查询原理、算力要求四个维度分析,如下图

 传统数据库向量数据库
数据存储结构化数据非结构化数据转换为向量存储
数据容量千万级,百万级最佳至少百亿级,甚至千亿
查询原理精准“匹配式”,结果准确近似查询,结果返回多
算力要求理论上偏线性近似计算势必需要大规模算力,属于计算密集型

总结来说,向量数据库的主要特点是能够高效地存储和查询大规模的向量数据,通常基于向量相似度的查询和检索,对于维度越高、信息规模越庞大,效果越好。

2、声音二:插件化演进

当然也有很多人认为,向量数据库会弱化为数据库的向量索引,与数据库集成起来推出服务,主要理由有以下几点:

  • 向量数据库的核心是向量索引,正式索引能力的一种升级而已。
  • 向量数据库,首先得是数据库,同样需要处理数据安全、副本管理、容灾等问题,这些能力对于向量数据库来说,重新配备的成本巨大,有必要吗?
  • 除了大模型之外,大多的业务场景下,需要查询的数据类型肯定是结合的,关系型、非关系型、向量型结合来的,单纯的向量数据库难以单独推出满足大范围推广的需求。

所以,从以上三个角度来看,传统数据库集成向量索引特性,是一个大的趋势,在可以预见的未来更多的产品也将支持插件式向量能力。

 

五、向量数据库的发展趋势预测

1、正如前面所说,向量数据库的快速发展,不可避免的需要尽快的解决和各类型传统数据库的兼容集成、安全与管理能提升等;

2、在大模型快速发展的今天,强大的市场需求的磨练下,向量数据库势必会不断创新、推陈出新,成熟度会越发完善,同时近似查询的查询原理,在保证算力资源的前提下,不断提升近似坚实的精准性,在算力和效能之间不断平衡。

欢迎投票:

推荐:云卷云舒:AI for DB、DB for AI-CSDN博客

 

 

 

 

这篇关于云卷云舒:独立式向量数据库?数据库向量式插件?的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/601035

相关文章

SQL Server修改数据库名及物理数据文件名操作步骤

《SQLServer修改数据库名及物理数据文件名操作步骤》在SQLServer中重命名数据库是一个常见的操作,但需要确保用户具有足够的权限来执行此操作,:本文主要介绍SQLServer修改数据... 目录一、背景介绍二、操作步骤2.1 设置为单用户模式(断开连接)2.2 修改数据库名称2.3 查找逻辑文件名

SQL Server数据库死锁处理超详细攻略

《SQLServer数据库死锁处理超详细攻略》SQLServer作为主流数据库管理系统,在高并发场景下可能面临死锁问题,影响系统性能和稳定性,这篇文章主要给大家介绍了关于SQLServer数据库死... 目录一、引言二、查询 Sqlserver 中造成死锁的 SPID三、用内置函数查询执行信息1. sp_w

CnPlugin是PL/SQL Developer工具插件使用教程

《CnPlugin是PL/SQLDeveloper工具插件使用教程》:本文主要介绍CnPlugin是PL/SQLDeveloper工具插件使用教程,具有很好的参考价值,希望对大家有所帮助,如有错... 目录PL/SQL Developer工具插件使用安装拷贝文件配置总结PL/SQL Developer工具插

maven中的maven-antrun-plugin插件示例详解

《maven中的maven-antrun-plugin插件示例详解》maven-antrun-plugin是Maven生态中一个强大的工具,尤其适合需要复用Ant脚本或实现复杂构建逻辑的场景... 目录1. 核心功能2. 典型使用场景3. 配置示例4. 关键配置项5. 优缺点分析6. 最佳实践7. 常见问题

Druid连接池实现自定义数据库密码加解密功能

《Druid连接池实现自定义数据库密码加解密功能》在现代应用开发中,数据安全是至关重要的,本文将介绍如何在​​Druid​​连接池中实现自定义的数据库密码加解密功能,有需要的小伙伴可以参考一下... 目录1. 环境准备2. 密码加密算法的选择3. 自定义 ​​DruidDataSource​​ 的密码解密3

Maven项目中集成数据库文档生成工具的操作步骤

《Maven项目中集成数据库文档生成工具的操作步骤》在Maven项目中,可以通过集成数据库文档生成工具来自动生成数据库文档,本文为大家整理了使用screw-maven-plugin(推荐)的完... 目录1. 添加插件配置到 pom.XML2. 配置数据库信息3. 执行生成命令4. 高级配置选项5. 注意事

在Java中基于Geotools对PostGIS数据库的空间查询实践教程

《在Java中基于Geotools对PostGIS数据库的空间查询实践教程》本文将深入探讨这一实践,从连接配置到复杂空间查询操作,包括点查询、区域范围查询以及空间关系判断等,全方位展示如何在Java环... 目录前言一、相关技术背景介绍1、评价对象AOI2、数据处理流程二、对AOI空间范围查询实践1、空间查

Python+PyQt5实现MySQL数据库备份神器

《Python+PyQt5实现MySQL数据库备份神器》在数据库管理工作中,定期备份是确保数据安全的重要措施,本文将介绍如何使用Python+PyQt5开发一个高颜值,多功能的MySQL数据库备份工具... 目录概述功能特性核心功能矩阵特色功能界面展示主界面设计动态效果演示使用教程环境准备操作流程代码深度解

MySQL数据库实现批量表分区完整示例

《MySQL数据库实现批量表分区完整示例》通俗地讲表分区是将一大表,根据条件分割成若干个小表,:本文主要介绍MySQL数据库实现批量表分区的相关资料,文中通过代码介绍的非常详细,需要的朋友可以参考... 目录一、表分区条件二、常规表和分区表的区别三、表分区的创建四、将既有表转换分区表脚本五、批量转换表为分区

MySQL Workbench工具导出导入数据库方式

《MySQLWorkbench工具导出导入数据库方式》:本文主要介绍MySQLWorkbench工具导出导入数据库方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝... 目录mysql Workbench工具导出导入数据库第一步 www.chinasem.cn数据库导出第二步