本文主要是介绍VAST Data步步攀升，整合AI堆栈，打造一体化AI平台：从存储根基走向全方位数据处理与分析，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
VAST Data公司正逐步从其商品化存储基础出发，构建一套统一的AI堆栈系统，致力于提供一站式AI解决方案。最近，VAST公司的现场CTO安迪·珀斯坦纳在一次简报中传达了这一战略方向。
VAST提供了分散式QLC单层闪存架构的并行、横向扩展文件型存储系统，并在此基础上构建了一系列软件层，包括数据目录、全局命名空间、数据库，以及即将推出的数据引擎。早在生成式AI热潮爆发之前，VAST就已聚焦于AI领域，并带有Thinking Machines的理念。VAST的CEO兼联合创始人雷嫩·哈拉克曾表示：“VAST数据平台提供了AI基础设施，开启了通往自动化探索的大门，能够解决人类面临的最复杂挑战。”
安迪·珀斯坦纳解释说，许多VAST的客户项目专注于“相对传统且乏味的数据处理和预处理工作……往往是基于CPU的ETL工作负载。他们通常有一条包含多种不同技术的管线，然后将这些技术拼接在一起，最终目标是将数据转换成可以进行分析或者开始训练、推理的格式”。
目前存在的问题是，“很多时候，数据并不适合直接用于AI工作……所以他们需要对其进行处理”。人们花费大量时间在数据清洗、预处理和ETL上，这通常是在基于CPU的集群环境中完成。
珀斯坦纳表示：“我们的最终目标是让人们能够将所有杂乱无章、非结构化、不美观的数据带入我们的平台，并对那些需要结构化的部分，在无需先转移到其他地方进行转换的情况下，直接导入我们的数据库中进行处理。”
珀斯坦纳透露，VAST正在开发的数据引擎的第一部分“将在近中期实现，即在平台上嵌入一个执行引擎或执行框架。这个执行框架主要基于Spark，但我们还加入了许多优化元素，使其更适合进行ETL处理”。预计几个月后会发布这项功能，它将使客户能够就地处理数据，并将其加载到数据库中进行分析。
展望未来，VAST的目标是“尽可能地整合客户今天所做的一切，无论他们在亚马逊或谷歌云端部署，还是在本地部署，亦或是将各种不同的系统和技术拼接起来，我们都尝试尽量把这些东西整合在一起”。
这甚至可能不涉及存储。“我们在一些大规模部署项目中的客户拥有复杂ETL管线、数据预处理机制、执行引擎和数据库，他们开始意识到他们已经拥有的就是一个能够执行许多这类任务的平台。”这意味着VAST平台。
珀斯坦纳指出：“我们正与这些客户开展项目合作，在某些情况下，我们与客户的合作项目甚至不需要存储功能。他们真正需要的是处理数据并将数据转化为表格格式，然后在上面运行分析的方法。”
他还谈到：“我们非常兴奋地看到新的客户开始使用我们的数据库和数据引擎作为进入这些机会的杠杆。”在他看来，“你会看到越来越多的客户只使用我们的数据库和数据引擎产品”。
当谈到GPU支持时，他表示：“部署VAST数据平台当然需要硬件，但目前我们尚未在这一方面支持GPU……我们还没有实现对GPU调度方面的支持，这意味着客户最初将在我们的数据引擎上部署基于CPU的工作负载，这对于ETL处理、变换和基本功能的执行非常自然……很多这些工作并非人们传统意义上的AI，但却构成了AI的重要组成部分。”
随着客户采纳这一平台，他们将有一个可以存储所有数据的地方，并在此基础上进行更高级别的分析和AI处理。之后，VAST将进一步提升灵活性，虽然珀斯坦纳无法给出具体的时间表，但VAST的计划是最终能够管理和优化客户使用的各类硬件背后的处理环境。
许多客户已经建立了AI工作负载的安排。珀斯坦纳认为：“与我们交流过的大多数大规模客户都已经有了调度器、编排层、ML Ops平台等各种工具。因此，我们并不会建议他们全部替换掉现有的这些东西。这不切实际，而且他们能够很好地管理自己的计算资源，不需要我们插手。”
VAST将首先针对特定工作负载进行优化。例如，设想一个管道流程，需要从多个源头摄取数据并将其加载到平台上进行处理，转换为表格格式，然后分配给一系列离散的任务。这不是一个通用框架，而是一个相对特定的框架。
另外，VAST还将开放让客户的消息总线直接将数据投递到VAST平台，而无需经过另一层中介。客户通常围绕Kafka或其他类似的消息总线构建事件管道，而VAST平台将允许Kafka直接与其数据库表进行集成，这样客户可能不再需要单独管理Kafka系统，或者即使管理，也可以直接与VAST平台集成。
总体来看，VAST的做法就像水位上升，逐步吸收AI管道的底层阶段，逐层整合不同软件组件，同时不断提高舒适度。最终，VAST有可能在VAST环境中直接进行AI处理，也会涉及到GPU。但客户不会抛弃现有的上千个GPU服务器和Nvidia系统。然而，未来VAST有可能将现有的GPU服务器融入到VAST系统中。
珀斯坦纳回应称：“我认为你走在正确的轨道上，但‘吸收’可能并不是我们最初会采用的方式。”他认为调度是一个切入点。客户使用调度器来保证GPU始终有足够的数据供给。这些数据可能分布在客户分布式环境的多个位置，GPU服务和数据需求也需要流向GPU。VAST首先将允许客户在GPU集群上运行处理程序，处理来自其他地方已摄取的数据，只需以尽可能智能的方式在各处之间移动字节。VAST将利用其全局命名空间功能实现这一点。
珀斯坦纳表示：“我们不想抛弃客户的调度器，而是要与其进行集成。”VAST还会与Nvidia的ML Ops工具进行集成。其最终目标走得更远：“我们的想法是，客户无需了解所有细节，他们不必知道是否有调度器，甚至不必知道那里使用了何种硬件。他们只知道他们有数据，并需要从中获取答案。因此，我们的目标是让客户能够体验到黑盒式的便利，无需了解各个组件的细节。但要达到这个目标还有很长的路要走。”
在超融合方面，珀斯坦纳表示：“早期，我们非常注重战术层面，确保我们的解决方案适用于主要集中在HPC和研究领域的客户。但现在，随着我们在HPC、研究、企业、各种AI为核心的客户以及专注于AI的云服务提供商之间的不断演进和发展，我们的重点转向构建一个能够让所有事情在一个地方发生的平台，而不是聚焦于某个特定领域。”
我们提出：“你们是否成为了一种新型的超融合公司？”
对此，珀斯坦纳在某种程度上表示赞同：“如果你提到‘超融合’这个词，很多人脑海中会出现一种既定的画面。”基本上类似于Nutanix风格的计算。
珀斯坦纳同意这一观点，并补充道：“对于我们而言，如果使用‘超融合’这个词，那应该是在数据平台的语境下，而不是基础设施的语境。因为我们希望将所有相关学科整合到一起。”
这篇关于VAST Data步步攀升，整合AI堆栈，打造一体化AI平台：从存储根基走向全方位数据处理与分析的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
