XSKY 亮相中国移动智算存储论坛,共话 AI 存储创新之路

2024-08-24 22:28

本文主要是介绍XSKY 亮相中国移动智算存储论坛,共话 AI 存储创新之路,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

8 月 15 日,由中国移动云能力中心主办的“智算存储论坛”在南京大学顺利举办,本期技术论坛的主题是《智存未来-构建 AI 时代新型存储基础设施》。作为中国移动云能力中心的合作伙伴,XSKY星辰天合受邀参加了此次技术大会。 XSKY 产品总监朱荣泽作为特邀嘉宾之一,发表了主题为《大模型时代对于存储架构的挑战》的演讲,分享了大语言模型(LLM)对存储的需求以及现有存储架构的局限与挑战 并与来自中国移动云能力中心、中国信通院、南京大学、华为、中兴、JuiceFS、中国移动 IT 公司的存储领域技术专家共同探讨智算浪潮下云存储面临的挑战与机遇。

人工智能时代的存储系统技术趋势

在大模型技术加速发展的当下,相关企业对云存储这一重要的底层基础设施能力愈发重视。与会专家在此次论坛上深度探讨了人工智能时代存储系统的发展愿景和技术趋势,包括面对 AI 时代,所需的云存储技术类型,以及如何构筑智能、高效、低碳的新型存储基础设施等,涵盖了大模型时代下分布式存储现状和趋势、怎样构建面向云原生算力的智能弹性缓存系统、在 AIGC 新时代中存储的新机遇、如何提升分布式存储纠删码的性能、如何打造大模型存储底座、如何构建智能时代下的智能云存储、统一存储引擎面对当今 AI 场景的变与不变等技术议题。

XSKY 主题演讲:大模型时代对于存储架构的挑战

7500afc09052ca6b0d6a79861cd9ad0a.jpeg
图1:XSKY 产品总监朱荣泽发表演讲


在 XSKY 主题演讲环节,XSKY 产品总监朱荣泽首先阐述了在 AI 变革时代中计算和存储的关系,并且指明 AI 计算属于新的计算范式,它不仅对计算硬件提出了新的要求,也对存储技术带来了前所未有的挑战。

朱荣泽指出,GPU 的显存 DRAM 技术从 DDR 演进到 HBM,内存访 问模式从“延迟敏感”转变为“带宽优先”。 HBM 需要不断地从远端存储或本地存储加载数据,内存和数据传输之间的互联带宽,将成为 AI 计算发展的主要瓶颈。 HBM 的核心价值在于其对存储性能的重塑,它不仅提升了数据传输的速度,更改变了我们对存储核心需求的认识。

朱荣泽表示在大模型训练中 存储系统面临着大量数据的写入任务,这致使存储写带宽成为衡量其性能竞争力的关键所在。特别在多模态的情境里,大量小文件的处理给底层存储性能造成了严峻的挑战。

为了应对这些难题, XSKY 推出新的 XSEA(eXtreme Shared-Everything Architecture,极速全共享架构)全闪架构,采用了创新的“端到端纠删码(EC)+ 持续压缩”技术,实现将写放大问题降低至最小,实现接近于 100% 的有效带宽利用率,提升了存储效率 。这些关键技术创新,不仅减少了写放大效应,还显著提高了存储带宽利用率和整体性能,可以更好应对大语言模型对底层存储的挑战。朱荣泽表示,只有通过架构创新和不断的技术迭代和优化,才能为客户提供更高效、更可靠的存储解决方案。

4252a3f6f2c70d5dafd4fc1b4a210647.jpeg
图2:XSEA 星海全闪架构性能优势

联手业界生态 持续推进存储架构创新

在人工智能产业快速发展的当下,星辰天合将与更多伙伴携手奋进,持续对存储架构展开探索。借助创新的架构与软硬件组合,充分发挥分布式全闪存储的性能优势,助力客户从数据中获得更多价值,推动业务不断向前迈进

4463374ed61d5d2a43b30cc5a5964027.jpeg

欲了解星海全闪架构与星飞全闪产品的更多信息,欢迎扫描下方二维码,获取《 XSKY 星飞全闪技术白皮书》。

3de2a563ce7189eb87ca344ac01754ff.jpeg


这篇关于XSKY 亮相中国移动智算存储论坛,共话 AI 存储创新之路的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1103777

相关文章

MyBatis/MyBatis-Plus同事务循环调用存储过程获取主键重复问题分析及解决

《MyBatis/MyBatis-Plus同事务循环调用存储过程获取主键重复问题分析及解决》MyBatis默认开启一级缓存,同一事务中循环调用查询方法时会重复使用缓存数据,导致获取的序列主键值均为1,... 目录问题原因解决办法如果是存储过程总结问题myBATis有如下代码获取序列作为主键IdMappe

k8s搭建nfs共享存储实践

《k8s搭建nfs共享存储实践》本文介绍NFS服务端搭建与客户端配置,涵盖安装工具、目录设置及服务启动,随后讲解K8S中NFS动态存储部署,包括创建命名空间、ServiceAccount、RBAC权限... 目录1. NFS搭建1.1 部署NFS服务端1.1.1 下载nfs-utils和rpcbind1.1

Redis高性能Key-Value存储与缓存利器常见解决方案

《Redis高性能Key-Value存储与缓存利器常见解决方案》Redis是高性能内存Key-Value存储系统,支持丰富数据类型与持久化方案(RDB/AOF),本文给大家介绍Redis高性能Key-... 目录Redis:高性能Key-Value存储与缓存利器什么是Redis?为什么选择Redis?Red

MyBatis-plus处理存储json数据过程

《MyBatis-plus处理存储json数据过程》文章介绍MyBatis-Plus3.4.21处理对象与集合的差异:对象可用内置Handler配合autoResultMap,集合需自定义处理器继承F... 目录1、如果是对象2、如果需要转换的是List集合总结对象和集合分两种情况处理,目前我用的MP的版本

Java+AI驱动实现PDF文件数据提取与解析

《Java+AI驱动实现PDF文件数据提取与解析》本文将和大家分享一套基于AI的体检报告智能评估方案,详细介绍从PDF上传、内容提取到AI分析、数据存储的全流程自动化实现方法,感兴趣的可以了解下... 目录一、核心流程:从上传到评估的完整链路二、第一步:解析 PDF,提取体检报告内容1. 引入依赖2. 封装

使用SpringBoot+InfluxDB实现高效数据存储与查询

《使用SpringBoot+InfluxDB实现高效数据存储与查询》InfluxDB是一个开源的时间序列数据库,特别适合处理带有时间戳的监控数据、指标数据等,下面详细介绍如何在SpringBoot项目... 目录1、项目介绍2、 InfluxDB 介绍3、Spring Boot 配置 InfluxDB4、I

Spring AI使用tool Calling和MCP的示例详解

《SpringAI使用toolCalling和MCP的示例详解》SpringAI1.0.0.M6引入ToolCalling与MCP协议,提升AI与工具交互的扩展性与标准化,支持信息检索、行动执行等... 目录深入探索 Spring AI聊天接口示例Function CallingMCPSTDIOSSE结束语

三频BE12000国补到手2549元! ROG 魔盒Pro WIFI7电竞AI路由器上架

《三频BE12000国补到手2549元!ROG魔盒ProWIFI7电竞AI路由器上架》近日,华硕带来了ROG魔盒ProWIFI7电竞AI路由器(ROGSTRIXGR7Pro),目前新... 华硕推出了ROG 魔盒Pro WIFI7电竞AI路由器(ROG STRIX GR7 Phttp://www.cppcn

SpringBoot3.X 整合 MinIO 存储原生方案

《SpringBoot3.X整合MinIO存储原生方案》本文详细介绍了SpringBoot3.X整合MinIO的原生方案,从环境搭建到核心功能实现,涵盖了文件上传、下载、删除等常用操作,并补充了... 目录SpringBoot3.X整合MinIO存储原生方案:从环境搭建到实战开发一、前言:为什么选择MinI

Python实现对阿里云OSS对象存储的操作详解

《Python实现对阿里云OSS对象存储的操作详解》这篇文章主要为大家详细介绍了Python实现对阿里云OSS对象存储的操作相关知识,包括连接,上传,下载,列举等功能,感兴趣的小伙伴可以了解下... 目录一、直接使用代码二、详细使用1. 环境准备2. 初始化配置3. bucket配置创建4. 文件上传到os