紧跟生成式AI暴雨发布新时代推理服务器

本文主要是介绍紧跟生成式AI暴雨发布新时代推理服务器，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

近日，暴雨发布最新训推一体AI服务器，以大容量内存和灵活的高速互连选项满足各种AI应用场景，最大可能支持扩展插槽，从而大幅提升智能算力性能，以最优的性能和成本为企业的模型训练推理落地应用提供更好的通用算力。

AIGC时代，企业面临多元AI算力以及创新应用场景的挑战

2024年是生成式人工智能技术迅猛发展、AI大模型加速落地的一年。大模型不再仅仅是娱乐的工具，它正在变成解决日常问题的生产工具，而算力是大模型时代的底层基础设施。当AI算力的需求演变成为通用算力需求，AI模型以及应用场景持续走向多元化和复杂化，为了满足模型训练对算力需求的升级进化，帮助用户快速搭建起高效AI应用环境，暴雨在此需求上推出全新AI训推一体机暴雨 Intel Eagle Stream平台4U8卡服务器，具备领先架构、超强算力、灵活扩展等特点，为不同的AI应用提供强劲算力支持。

暴雨 AI训推一体服务器为企业AI应用提供强大的硬件基础
暴雨作为国内领先服务器解决方案供应商，拥有丰富的技术经验和强大的研发能力。暴雨 Intel Eagle Stream平台4U8卡服务器为大规模AI训练推理而设计，整机采用模块化设计，支持8TB内存容量，整机最多支持16个PCIe5.0扩展插槽。

■ 架构领先，非凡性能：4U服务器内部搭载2颗最新Eagle Stream 平台CPU，内置AMX加速器，深度优化深度学习训练和推理工作负载。最大功率350W。采用最新PCIe以及DDR5等技术，将处理器的性能发挥到极致。

■ 灵活拓扑，释放潜能：暴雨 Intel Eagle Stream平台4U8卡服务器的CPU-GPU连接可支持直通及 Switch 两种方案灵活切换，轻松满足各类数据中心及企业应用的工作负载，可为深度学习推理、训练场景提供更加安全、可扩展性及可靠性要求的行业数据中心和远程的企业环境。
其中，采用CPU-GPU直通，最多可支持8张600W 主流高性能企业级双宽GPU，满足下一代GPU功耗要求，降低用户平台升级成本。该方案无需Switch芯片，性价比更高。前置硬盘可以灵活选择12盘/8盘/16盘/24盘位，3.5”或2.5”SATA/SAS4.0/GEN5 NVME，提供海量存储和数据读写性能。

其中，GPU-GPU通过Switch芯片互联方案则更适用P2P场景，Switch-CPU带宽为PCIe5.0 x32，能够满足高性能GPU运算需求，在LLM推理过程中，可以大幅提升模型响应速度，最多可支持10张600W 主流高性能企业级双宽GPU。

■ 稳定可靠，持续运行：此款服务器全新升级了BMC系统，采用AST2600芯片，支持IPMI2.0、Redfish、SNMP等管理协议，能够智能监测内部物理变量，如温度、湿度、电源电压、风扇速度，通信参数，并且可以远程监测服务器运行状态，保证服务器的高效稳定运行。电源采用4个1600W/2000W/2200W/3000W80Plus铂金/钛金PSU，支持2+2/3+1冗余，保证系统的稳定运行，多种冗余模式，能够适应各种机房环境。
■ 高效互联，生态成熟：整机支持多达32个DDR5内存插槽，速率最高支持5600MT/s，支持RDIMM或LRDIMM，支持CXL1.1，支持HBM等技术。其中OCP网卡支持Multi-host网络，能够避免业务跨CPU访问，提供更大参数量模型的推理和微调能力。