XSKY 亮相中国移动智算存储论坛,共话 AI 存储创新之路

2024-08-24 22:28

本文主要是介绍XSKY 亮相中国移动智算存储论坛,共话 AI 存储创新之路,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

8 月 15 日,由中国移动云能力中心主办的“智算存储论坛”在南京大学顺利举办,本期技术论坛的主题是《智存未来-构建 AI 时代新型存储基础设施》。作为中国移动云能力中心的合作伙伴,XSKY星辰天合受邀参加了此次技术大会。 XSKY 产品总监朱荣泽作为特邀嘉宾之一,发表了主题为《大模型时代对于存储架构的挑战》的演讲,分享了大语言模型(LLM)对存储的需求以及现有存储架构的局限与挑战 并与来自中国移动云能力中心、中国信通院、南京大学、华为、中兴、JuiceFS、中国移动 IT 公司的存储领域技术专家共同探讨智算浪潮下云存储面临的挑战与机遇。

人工智能时代的存储系统技术趋势

在大模型技术加速发展的当下,相关企业对云存储这一重要的底层基础设施能力愈发重视。与会专家在此次论坛上深度探讨了人工智能时代存储系统的发展愿景和技术趋势,包括面对 AI 时代,所需的云存储技术类型,以及如何构筑智能、高效、低碳的新型存储基础设施等,涵盖了大模型时代下分布式存储现状和趋势、怎样构建面向云原生算力的智能弹性缓存系统、在 AIGC 新时代中存储的新机遇、如何提升分布式存储纠删码的性能、如何打造大模型存储底座、如何构建智能时代下的智能云存储、统一存储引擎面对当今 AI 场景的变与不变等技术议题。

XSKY 主题演讲:大模型时代对于存储架构的挑战

7500afc09052ca6b0d6a79861cd9ad0a.jpeg
图1:XSKY 产品总监朱荣泽发表演讲


在 XSKY 主题演讲环节,XSKY 产品总监朱荣泽首先阐述了在 AI 变革时代中计算和存储的关系,并且指明 AI 计算属于新的计算范式,它不仅对计算硬件提出了新的要求,也对存储技术带来了前所未有的挑战。

朱荣泽指出,GPU 的显存 DRAM 技术从 DDR 演进到 HBM,内存访 问模式从“延迟敏感”转变为“带宽优先”。 HBM 需要不断地从远端存储或本地存储加载数据,内存和数据传输之间的互联带宽,将成为 AI 计算发展的主要瓶颈。 HBM 的核心价值在于其对存储性能的重塑,它不仅提升了数据传输的速度,更改变了我们对存储核心需求的认识。

朱荣泽表示在大模型训练中 存储系统面临着大量数据的写入任务,这致使存储写带宽成为衡量其性能竞争力的关键所在。特别在多模态的情境里,大量小文件的处理给底层存储性能造成了严峻的挑战。

为了应对这些难题, XSKY 推出新的 XSEA(eXtreme Shared-Everything Architecture,极速全共享架构)全闪架构,采用了创新的“端到端纠删码(EC)+ 持续压缩”技术,实现将写放大问题降低至最小,实现接近于 100% 的有效带宽利用率,提升了存储效率 。这些关键技术创新,不仅减少了写放大效应,还显著提高了存储带宽利用率和整体性能,可以更好应对大语言模型对底层存储的挑战。朱荣泽表示,只有通过架构创新和不断的技术迭代和优化,才能为客户提供更高效、更可靠的存储解决方案。

4252a3f6f2c70d5dafd4fc1b4a210647.jpeg
图2:XSEA 星海全闪架构性能优势

联手业界生态 持续推进存储架构创新

在人工智能产业快速发展的当下,星辰天合将与更多伙伴携手奋进,持续对存储架构展开探索。借助创新的架构与软硬件组合,充分发挥分布式全闪存储的性能优势,助力客户从数据中获得更多价值,推动业务不断向前迈进

4463374ed61d5d2a43b30cc5a5964027.jpeg

欲了解星海全闪架构与星飞全闪产品的更多信息,欢迎扫描下方二维码,获取《 XSKY 星飞全闪技术白皮书》。

3de2a563ce7189eb87ca344ac01754ff.jpeg


这篇关于XSKY 亮相中国移动智算存储论坛,共话 AI 存储创新之路的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1103777

相关文章

MySQL存储过程之循环遍历查询的结果集详解

《MySQL存储过程之循环遍历查询的结果集详解》:本文主要介绍MySQL存储过程之循环遍历查询的结果集,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录前言1. 表结构2. 存储过程3. 关于存储过程的SQL补充总结前言近来碰到这样一个问题:在生产上导入的数据发现

MySQL 存储引擎 MyISAM详解(最新推荐)

《MySQL存储引擎MyISAM详解(最新推荐)》使用MyISAM存储引擎的表占用空间很小,但是由于使用表级锁定,所以限制了读/写操作的性能,通常用于中小型的Web应用和数据仓库配置中的只读或主要... 目录mysql 5.5 之前默认的存储引擎️‍一、MyISAM 存储引擎的特性️‍二、MyISAM 的主

Linux lvm实例之如何创建一个专用于MySQL数据存储的LVM卷组

《Linuxlvm实例之如何创建一个专用于MySQL数据存储的LVM卷组》:本文主要介绍使用Linux创建一个专用于MySQL数据存储的LVM卷组的实例,具有很好的参考价值,希望对大家有所帮助,... 目录在Centos 7上创建卷China编程组并配置mysql数据目录1. 检查现有磁盘2. 创建物理卷3. 创

使用Python实现调用API获取图片存储到本地的方法

《使用Python实现调用API获取图片存储到本地的方法》开发一个自动化工具,用于从JSON数据源中提取图像ID,通过调用指定API获取未经压缩的原始图像文件,并确保下载结果与Postman等工具直接... 目录使用python实现调用API获取图片存储到本地1、项目概述2、核心功能3、环境准备4、代码实现

SpringBoot项目中Redis存储Session对象序列化处理

《SpringBoot项目中Redis存储Session对象序列化处理》在SpringBoot项目中使用Redis存储Session时,对象的序列化和反序列化是关键步骤,下面我们就来讲讲如何在Spri... 目录一、为什么需要序列化处理二、Spring Boot 集成 Redis 存储 Session2.1

基于MongoDB实现文件的分布式存储

《基于MongoDB实现文件的分布式存储》分布式文件存储的方案有很多,今天分享一个基于mongodb数据库来实现文件的存储,mongodb支持分布式部署,以此来实现文件的分布式存储,需要的朋友可以参考... 目录一、引言二、GridFS 原理剖析三、Spring Boot 集成 GridFS3.1 添加依赖

Spring AI 实现 STDIO和SSE MCP Server的过程详解

《SpringAI实现STDIO和SSEMCPServer的过程详解》STDIO方式是基于进程间通信,MCPClient和MCPServer运行在同一主机,主要用于本地集成、命令行工具等场景... 目录Spring AI 实现 STDIO和SSE MCP Server1.新建Spring Boot项目2.a

java变量内存中存储的使用方式

《java变量内存中存储的使用方式》:本文主要介绍java变量内存中存储的使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、介绍2、变量的定义3、 变量的类型4、 变量的作用域5、 内存中的存储方式总结1、介绍在 Java 中,变量是用于存储程序中数据

SQLyog中DELIMITER执行存储过程时出现前置缩进问题的解决方法

《SQLyog中DELIMITER执行存储过程时出现前置缩进问题的解决方法》在SQLyog中执行存储过程时出现的前置缩进问题,实际上反映了SQLyog对SQL语句解析的一个特殊行为,本文给大家介绍了详... 目录问题根源正确写法示例永久解决方案为什么命令行不受影响?最佳实践建议问题根源SQLyog的语句分

关于MongoDB图片URL存储异常问题以及解决

《关于MongoDB图片URL存储异常问题以及解决》:本文主要介绍关于MongoDB图片URL存储异常问题以及解决方案,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐... 目录MongoDB图片URL存储异常问题项目场景问题描述原因分析解决方案预防措施js总结MongoDB图