本文主要是介绍走向边缘智能，美格智能携手阿加犀成功在高算力AI模组上运行一系列大语言模型，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
近日，美格智能发挥软硬件一体协同开发能力，融合阿加犀卓越的AI优化部署技术，在搭载高通QCS8550平台的高算力AI模组上，成功运行了一系列大语言模型，包括LLaMA-2、通义千问Qwen、百川大模型、RedPajama、ChatGLM2、Vicuna，展现出卓越的边缘端大模型部署能力。
▌构建智算底座，加速大模型端侧部署
大模型和生成式AI的浪潮席卷全球，带来人工智能新纪元。大模型诞生之初主要是与云端绑定，而随着应用场景的拓展，AI开始赋能千行百业，大模型也需要在越来越多的终端设备上运行。如果说生成式AI是正在高速向前行驶的列车，那算力就是燃料。终端侧AI的落地应用，离不开硬件和设备算力的升级。
今年，高通推出了AI算力芯片QCS8550，整合了强大的NPU算力和边缘侧AI处理技术、Wi-Fi 7连接技术以及增强型图形和视频处理能力，提供高速、低功耗的AI计算平台，为终端侧AI赋能。
基于高通QCS8550芯片平台，美格智能推出了高算力AI模组SNM970，综合AI算力高达48Tops，并支持混合精度计算，为IoT设备打造全新的智算底座。高算力AI模组是承载端侧AI无限创造空间的最佳形式，为海量碎片化场景提供稳定的通信能力和强大的边缘算力，让终端开发者能够基于标准化的模组完成低成本、短流程的产品设计和制造，降低大模型的开发和使用成本。
另一方面，AI从芯片到应用还需要解决跨平台迁移、异构芯片效率丢失、碎片化的场景需求等挑战。阿加犀具备成熟的AidLux平台和行业领先的开箱即用AI工具链，能够全面提升边缘设备的AI性能和模型执行效率，为AI项目在丰富场景中快速落地提供专业支持，进一步推动AI应用的终端部署。
此次，美格智能高算力AI模组产品团队携手阿加犀，在基于高通骁龙800系列平台的自研高算力AI模组上成功运行一系列大语言模型，成功验证了算力模组作为未来大模型边缘AI算力底座的通用性，对边缘端生成式AI的支持进一步成熟，有望将生成式AI拓展至更多领域。
美格智能提供具备出色能效比、强大的计算能力的算力模组，结合阿加犀独有的AI工具链带来的领先的SoC性能调度能力，二者强强联合发挥出模组的极致性能，让多个参数达70亿的语言大模型，包括LLaMA-2、通义千问Qwen、百川大模型、RedPajama、ChatGLM2、Vicuna，都能在算力模组上保持高效运行。
▌高算力AI模组，让AI触手可及
美格智能高算力AI模组产品专为终端侧、边缘侧AI应用设计，依靠强大的软硬件一体研发能力，美格智能持续推进高算力AI模组的AI硬件不断升级，至今已经历经多代产品演进，涵盖入门级、中端、旗舰级多层次产品，包括SNM930、SNM950、SNM960、SNM970、SNM972等系列，对应AI算力覆盖14Tops~48Tops。
同时，美格智能研发团队在AI应用场景开发、AI性能优化和AI低功耗程序研发等领域的设计研发能力处于行业领先水平，相关算力产品在各类核心场景大规模应用，让智慧零售、智能机器人、智慧交通、智慧农业、智能制造等各行各业快速于边缘端部署大模型，以AI驱动业务创新。
针对AI边缘计算领域，美格智能基于高算力AI模组SNM972，助力客户打造SoC阵列服务器产品。该模组采用MiniPCIe封装方式，支持16GB LPDDR5X + 256GB UFS 4.0内存，并支持混合精度计算，支持ONNX、Pytorch、CAFFE、TensorFlowLite等模型框架，可轻松赋能各类AI场景。
方案中每个算力节点采用刀片+阵列式设计，内部实现模块化及热插拔设计，可以实现不停机维护。最高可配置80路算力模组，单颗模组内部支持Android虚拟化，可虚拟出多路计算单元，更好地进行算力配置，为实时互动云计算、边缘AI云计算、云渲染等业务场景提供最佳算力底座。
AI正在改变世界，美格智能始终以市场需求为导向，与合作伙伴紧密合作，围绕高算力AI模组打造更多适配行业的解决方案，拉近大模型和应用之间的距离，把握智慧先机，实现让AI触手可及的目标，赋能数字经济发展。
这篇关于走向边缘智能，美格智能携手阿加犀成功在高算力AI模组上运行一系列大语言模型的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
