【#第三期实战营闯关作业##LMDeploy 量化部署进阶实践 】

本文主要是介绍【#第三期实战营闯关作业##LMDeploy 量化部署进阶实践 】，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

今天学习了《LMDeploy 量化部署进阶实践》一课，，收获很大。以下是记录复现过程及截图：
创建一个名为lmdeploy的conda环境

创建成功后激活环境并安装0.5.3版本的lmdeploy及相关包。

相关包install成功
创建好的conda环境并启动InternLM2_5-7b-chat。这是对话截图
运行InternLM2.5 -20B模型，会发现此时显存占用大约71G：单卡80G-220=40G,400.8=32G,so,（权重）2*20G+32G(cache占用）=72G.

启动API服务器。后端logo
api的ui

以Gradio网页形式连接API服务器,输入http://127.0.0.1:6006，然后就可以与模型尽情对话了，就是上面截图。

这篇关于【#第三期实战营闯关作业##LMDeploy 量化部署进阶实践 】的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---