2024 GIAC 全球互联网架构大会:拓数派向量数据库 PieCloudVector 架构设计与案例实践

本文主要是介绍2024 GIAC 全球互联网架构大会:拓数派向量数据库 PieCloudVector 架构设计与案例实践,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

5月24-25日,msup 和高可用架构联合举办了第11届 GIAC 全球互联网架构大会。会议聚焦“共话AI技术的最新进展、架构实践和未来趋势”主题,邀请了 100 余位行业内的领军人物和革新者,分享”Agent/RAG 技术、云原生、基座大模型“等多个热门技术领域的案例实践。

在本次大会中,拓数派向量数据库负责人邱培峰受邀参与并在『Agent技术/RAG技术』分会场发表了《大模型时代下向量数据库的设计与应用》主题演讲,详细介绍了云原生向量数据库 PieCloudVector 的设计与实践。

PieCloudVector 是拓数派旗下大模型数据计算系统 PieDataCS 的第二款数据计算引擎。除 PieCloudVector,PieDataCS 目前还支持云原生虚拟数仓 PieCloudDB Database,机器学习引擎 PieCloudML 两款计算引擎。

向量数据库作为一种新型数据库,因其高效的数据存储和检索能力,已经成为大模型时代的关键技术之一。向量数据库主要分为两种技术流派:一派是以向量搜索算法为基础,围绕其核心算法补充配套功能;另一派则是以传统关系型数据库为基础,通过扩展提供通过 sql 语句搜索向量的功能。而拓数派在设计 PieCloudVector 时,充分考虑两个方向的优劣势,将 Faiss 算法库作为向量搜索引擎,并与自研的关系型数据库对接起来,既提高了向量检索的性能,同时具备处理通用数据的能力。

拓数派打造的云原生向量数据库 PieCloudVector 支持多种索引类型和主流检索算法(IVF、HNSW等),并对 Faiss OpenMP 线程进行大量改造,避免无效线程,大幅提升 QPS,降低内存占用。此外,PieCloudVector 可兼容国产软硬件环境,并通过了信通院认证测试,满足自主可控的要求。

image.png

拓数派向量数据库负责人邱培峰

PieCloudVector 是大模型时代的分析型数据库升维,助力多模态大模型 AI 应用,支持和配合大模型的 Embeddings,帮助基础模型在场景 AI 的快速适配和二次开发。目前 PieCloudVector 已经帮助东吴证券秀财 GPT 构建了 AIGC 应用平台。

image.png

邱培峰被颁发GIAC合作讲师奖杯

未来,拓数派将持续改进 PieCloudVector 的存储、索引和检索能力,致力于与不同领域的应用场景相结合,并将逐步扩展支持多模态数据的处理和分析能力,提供更全面、灵活的解决方案。

PPT下载地址

这篇关于2024 GIAC 全球互联网架构大会:拓数派向量数据库 PieCloudVector 架构设计与案例实践的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1013984

相关文章

SpringBoot集成EasyExcel实现百万级别的数据导入导出实践指南

《SpringBoot集成EasyExcel实现百万级别的数据导入导出实践指南》本文将基于开源项目springboot-easyexcel-batch进行解析与扩展,手把手教大家如何在SpringBo... 目录项目结构概览核心依赖百万级导出实战场景核心代码效果百万级导入实战场景监听器和Service(核心

Java Stream 的 Collectors.toMap高级应用与最佳实践

《JavaStream的Collectors.toMap高级应用与最佳实践》文章讲解JavaStreamAPI中Collectors.toMap的使用,涵盖基础语法、键冲突处理、自定义Map... 目录一、基础用法回顾二、处理键冲突三、自定义 Map 实现类型四、处理 null 值五、复杂值类型转换六、处理

setsid 命令工作原理和使用案例介绍

《setsid命令工作原理和使用案例介绍》setsid命令在Linux中创建独立会话,使进程脱离终端运行,适用于守护进程和后台任务,通过重定向输出和确保权限,可有效管理长时间运行的进程,本文给大家介... 目录setsid 命令介绍和使用案例基本介绍基本语法主要特点命令参数使用案例1. 在后台运行命令2.

Spring Boot集成/输出/日志级别控制/持久化开发实践

《SpringBoot集成/输出/日志级别控制/持久化开发实践》SpringBoot默认集成Logback,支持灵活日志级别配置(INFO/DEBUG等),输出包含时间戳、级别、类名等信息,并可通过... 目录一、日志概述1.1、Spring Boot日志简介1.2、日志框架与默认配置1.3、日志的核心作用

破茧 JDBC:MyBatis 在 Spring Boot 中的轻量实践指南

《破茧JDBC:MyBatis在SpringBoot中的轻量实践指南》MyBatis是持久层框架,简化JDBC开发,通过接口+XML/注解实现数据访问,动态代理生成实现类,支持增删改查及参数... 目录一、什么是 MyBATis二、 MyBatis 入门2.1、创建项目2.2、配置数据库连接字符串2.3、入

Oracle数据库定时备份脚本方式(Linux)

《Oracle数据库定时备份脚本方式(Linux)》文章介绍Oracle数据库自动备份方案,包含主机备份传输与备机解压导入流程,强调需提前全量删除原库数据避免报错,并需配置无密传输、定时任务及验证脚本... 目录说明主机脚本备机上自动导库脚本整个自动备份oracle数据库的过程(建议全程用root用户)总结

Android Paging 分页加载库使用实践

《AndroidPaging分页加载库使用实践》AndroidPaging库是Jetpack组件的一部分,它提供了一套完整的解决方案来处理大型数据集的分页加载,本文将深入探讨Paging库... 目录前言一、Paging 库概述二、Paging 3 核心组件1. PagingSource2. Pager3.

RabbitMQ消费端单线程与多线程案例讲解

《RabbitMQ消费端单线程与多线程案例讲解》文章解析RabbitMQ消费端单线程与多线程处理机制,说明concurrency控制消费者数量,max-concurrency控制最大线程数,prefe... 目录 一、基础概念详细解释:举个例子:✅ 单消费者 + 单线程消费❌ 单消费者 + 多线程消费❌ 多

在Java中使用OpenCV实践

《在Java中使用OpenCV实践》用户分享了在Java项目中集成OpenCV4.10.0的实践经验,涵盖库简介、Windows安装、依赖配置及灰度图测试,强调其在图像处理领域的多功能性,并计划后续探... 目录前言一 、OpenCV1.简介2.下载与安装3.目录说明二、在Java项目中使用三 、测试1.测

MyBatis-Plus 自动赋值实体字段最佳实践指南

《MyBatis-Plus自动赋值实体字段最佳实践指南》MyBatis-Plus通过@TableField注解与填充策略,实现时间戳、用户信息、逻辑删除等字段的自动填充,减少手动赋值,提升开发效率与... 目录1. MyBATis-Plus 自动赋值概述1.1 适用场景1.2 自动填充的原理1.3 填充策略