如何选择一个向量数据库|Qdrant Cloud v.s. Zilliz Cloud

2023-11-10 14:45

本文主要是介绍如何选择一个向量数据库|Qdrant Cloud v.s. Zilliz Cloud,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

随着向量数据库的热度不断攀升,越来越多人开始关注到这一赛道,传统数据库和检索系统也在快速集成专门的向量检索插件方面展开角逐。Qdrant 因其易用性和用户友好的开发者文档,面世不久即获得关注。

Qdrant 以 Rust 语言构建,提供 Rust、Python、Golang 等客户端 API,能够满足当今主流开发人员的需求。不过, Qdrant 作为后起之秀,和其他竞品仍然存在一定差距,例如界面及查询功能不够完善。

那么,Qdrant 和 Zilliz Cloud/Milvus 有何不同?可以这样理解,二者都专为向量数据打造,但适用于不同场景。Qdrant 更适合追求低成本基础设施维护的开发人员。而如果应用系统更注重性能和可扩展性,Zilliz Cloud/Milvus 是更合适的选择。因为 Zilliz Cloud/Milvus 具备可扩展性极强、性能更佳、延时更低的特点,适用于对性能指标有着严格要求的场景。

本文中将撇开这些表面差异,通过比较二者的性能基准测试结果和 Qdrant Cloud 的相关特性,深入探究 Qdrant Cloud 和 Zilliz Cloud 的差异。

01.Qdrant Cloud v.s. Zilliz Cloud:性能大比拼

最近,随着检索增强生成系统(RAG)的持续火爆,开发者对于“如何选择一个向量数据库”的疑惑也越来越多。过去几周,我们从性能和特性能力两个方面对 Qdrant Cloud 和 Zilliz Cloud 进行了详细的对比。

在对比过程中,我们使用了开源的性能基准测试套件 VectorDBBench,围绕诸如每秒查询次数(QPS)、每美元查询次数(QP$)以及时延等关键指标展开测试。

【大型测试数据集(≥ 500 万向量数据)】

以下为测试中使用的两类数据集:

  • 数据集 1 包含 10,000,000 条 768 维的向量数据。

  • 数据集 2 包含 5,000,000 条 1,536 维的向量数据。

测试对象

以下为测试时使用的实例,这些实例在硬件配置上基本相近:

  • Zilliz Cloud (8cu-perf):Zilliz Cloud 8 CU 性能型实例

  • Zilliz Cloud (2cu-cap):Zilliz Cloud 2 CU 容量型实例

  • Qdrant Cloud (4c16g-5node): Qdrant Cloud 4 CPU 16G 内存,使用 5 台机器的实例

每秒查询次数(QPS)

测试结果显示,在 10,000,000 条 768 维的向量数据中进行检索时,Zilliz Cloud 两款实例的 QPS 分别是 Qdrant Cloud 实例的 7 倍和 1 倍。

alt

在 5,000,000 条 1,536 维的向量数据中进行检索时,Zilliz Cloud(8cu-perf) 实例的 QPS 是 Qdrant Cloud 实例的 8 倍,但 Zilliz Cloud (2cu-cap) 实例的 QPS 低于 Qdrant Cloud 实例。

alt
每美元查询次数(QP$)

在 10,000,000 条 768 维的向量数据中进行检索时,Zilliz Cloud 两款实例的 QP$ 分别是 Qdrant Cloud 实例的 8 倍和 5 倍。

alt

在 5,000,000 条 1,536 维的向量数据中进行检索时,Zilliz Cloud 两款实例的 QP$ 分别是 Qdrant Cloud 实例的 7 倍和 3 倍。

alt
时延

在 10,000,000 条 768 维的向量数据中进行检索时,Zilliz Cloud 两款实例的 P99 延时分别是 Qdrant Cloud 实例的 1/12 倍和 1/3 倍。

alt

在 5,000,000 条 1,536 维的向量数据中进行检索时,Zilliz Cloud 两款实例的 P99 时延分别比 Qdrant Cloud 实例快 8 倍和 1 倍。

alt

【中型测试数据集(< 500 万向量数据)】

以下为测试中使用的两类数据集:

  • 数据集 3 包含 1,000,000 条 768 维的向量数据。

  • 数据集 4 包含 500,000 条1,536 维的向量数据。

测试对象

以下为测试时使用的实例,这些实例在硬件配置上基本相近:

  • Zilliz Cloud (1cu-perf):Zilliz Cloud 1 CU 性能型实例

  • Zilliz Cloud (1cu-cap):Zilliz Cloud 1 CU 容量型实例

  • Qdrant Cloud (4c16g-1node): Qdrant Cloud 4 CPU 16G 内存,使用 1 台机器的实例

每秒查询次数(QPS)

测试结果显示,在 1,000,000 条 768 维的向量数据中进行检索时,Zilliz Cloud 两款实例的 QPS 分别是 Qdrant Cloud 实例的 2 倍和 1 倍。

alt

在 500,000 条 1,536 维的向量数据中进行检索时,Zilliz Cloud(1cu-perf) 实例的 QPS 是 Qdrant Cloud 实例的 2 倍,但 Zilliz Cloud (1cu-cap) 实例的 QPS 低于 Qdrant Cloud 实例。

alt
每美元查询次数(QP$)

在 1,000,000 条 768 维的向量数据中进行检索时,Zilliz Cloud 两款实例的 QP$ 分别是 Qdrant Cloud 实例的 4 倍和 2 倍。

alt

在 500,000 条 1,536 维的向量数据中进行检索时,Zilliz Cloud 两款实例的 QP$ 分别是 Qdrant Cloud 实例的 3 倍和 1 倍。

alt
时延

在 1,000,000 条 768 维的向量数据中进行检索时,Zilliz Cloud 两款实例的 P99 时延均比 Qdrant Cloud 实例快 2 倍。

alt

在 500,000 条 1,536 维的向量数据中进行检索时,Zilliz Cloud 两款实例的 P99 时延分别是 Qdrant Cloud 实例的 127 倍和 27 倍。

alt

【结果:综合评分】

alt
alt

上图展示了各实例在不同用例下的性能评分(百分制)情况,分数越高,性能越强。具体的评分标准可以参考此处

https://github.com/zilliztech/VectorDBBench/tree/main#leaderboard。

alt

上图展示了各实例在不同用例(https://zilliz.com/vector-database-benchmark-tool#comparison-section)下的性能评分(>1) 情况,分数越低,性能越强。

上述性能基准测试结果由开源的 VectorDBBench(https://github.com/zilliztech/VectorDBBench) 工具提供。在工具的 GitHub 主页上,还可以看到向量数据库的排行榜。VectorDBBench 为主流的向量数据库和相关云服务提供了公正的性能测试基准(https://zilliz.com.cn/benchmark)。该工具有着良好的易用性,可以轻而易举地在众多向量数据库云服务和开源向量数据库中找到最佳选择。

02.Qdrant Cloud 特性对比

随着向量数据库可以存储的数据量呈几何级数的增长,性能也成为了向量数据库的重大挑战。为了保障数据检索性能,数据库的跨节点横向扩展能力至关重要。另外,数据插入速率、检索速率以及底层硬件的不同可能会衍生出不同的应用需求,这也让全局参数调节能力成为向量数据库的必备能力之一。

向量数据库为何而生

向量数据库是用来存储通过机器学习模型生成的非结构化数据的向量表示,为其创建索引,并在其中进行检索的一套全托管解决方案。它应该提供如下特性:

  • 可扩展性和参数调节能力

  • 多租户和数据隔离

  • 完整的 API 套件

  • 直观的用户界面和控制台

可扩展性
alt
功能
alt
专门打造
alt

关于更多详情,请参见比较页面(https://zilliz.com.cn/comparison/milvus-vs-qdrant)。

本文由 mdnice 多平台发布

这篇关于如何选择一个向量数据库|Qdrant Cloud v.s. Zilliz Cloud的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/383355

相关文章

MySQL数据库约束深入详解

《MySQL数据库约束深入详解》:本文主要介绍MySQL数据库约束,在MySQL数据库中,约束是用来限制进入表中的数据类型的一种技术,通过使用约束,可以确保数据的准确性、完整性和可靠性,需要的朋友... 目录一、数据库约束的概念二、约束类型三、NOT NULL 非空约束四、DEFAULT 默认值约束五、UN

数据库面试必备之MySQL中的乐观锁与悲观锁

《数据库面试必备之MySQL中的乐观锁与悲观锁》:本文主要介绍数据库面试必备之MySQL中乐观锁与悲观锁的相关资料,乐观锁适用于读多写少的场景,通过版本号检查避免冲突,而悲观锁适用于写多读少且对数... 目录一、引言二、乐观锁(一)原理(二)应用场景(三)示例代码三、悲观锁(一)原理(二)应用场景(三)示例

Node.js 数据库 CRUD 项目示例详解(完美解决方案)

《Node.js数据库CRUD项目示例详解(完美解决方案)》:本文主要介绍Node.js数据库CRUD项目示例详解(完美解决方案),本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考... 目录项目结构1. 初始化项目2. 配置数据库连接 (config/db.js)3. 创建模型 (models/

Spring Security基于数据库的ABAC属性权限模型实战开发教程

《SpringSecurity基于数据库的ABAC属性权限模型实战开发教程》:本文主要介绍SpringSecurity基于数据库的ABAC属性权限模型实战开发教程,本文给大家介绍的非常详细,对大... 目录1. 前言2. 权限决策依据RBACABAC综合对比3. 数据库表结构说明4. 实战开始5. MyBA

Ubuntu中远程连接Mysql数据库的详细图文教程

《Ubuntu中远程连接Mysql数据库的详细图文教程》Ubuntu是一个以桌面应用为主的Linux发行版操作系统,这篇文章主要为大家详细介绍了Ubuntu中远程连接Mysql数据库的详细图文教程,有... 目录1、版本2、检查有没有mysql2.1 查询是否安装了Mysql包2.2 查看Mysql版本2.

Oracle数据库常见字段类型大全以及超详细解析

《Oracle数据库常见字段类型大全以及超详细解析》在Oracle数据库中查询特定表的字段个数通常需要使用SQL语句来完成,:本文主要介绍Oracle数据库常见字段类型大全以及超详细解析,文中通过... 目录前言一、字符类型(Character)1、CHAR:定长字符数据类型2、VARCHAR2:变长字符数

Win11安装PostgreSQL数据库的两种方式详细步骤

《Win11安装PostgreSQL数据库的两种方式详细步骤》PostgreSQL是备受业界青睐的关系型数据库,尤其是在地理空间和移动领域,:本文主要介绍Win11安装PostgreSQL数据库的... 目录一、exe文件安装 (推荐)下载安装包1. 选择操作系统2. 跳转到EDB(PostgreSQL 的

SpringBoot实现数据库读写分离的3种方法小结

《SpringBoot实现数据库读写分离的3种方法小结》为了提高系统的读写性能和可用性,读写分离是一种经典的数据库架构模式,在SpringBoot应用中,有多种方式可以实现数据库读写分离,本文将介绍三... 目录一、数据库读写分离概述二、方案一:基于AbstractRoutingDataSource实现动态

C# WinForms存储过程操作数据库的实例讲解

《C#WinForms存储过程操作数据库的实例讲解》:本文主要介绍C#WinForms存储过程操作数据库的实例,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、存储过程基础二、C# 调用流程1. 数据库连接配置2. 执行存储过程(增删改)3. 查询数据三、事务处

mysql数据库重置表主键id的实现

《mysql数据库重置表主键id的实现》在我们的开发过程中,难免在做测试的时候会生成一些杂乱无章的SQL主键数据,本文主要介绍了mysql数据库重置表主键id的实现,具有一定的参考价值,感兴趣的可以了... 目录关键语法演示案例在我们的开发过程中,难免在做测试的时候会生成一些杂乱无章的SQL主键数据,当我们