五一超级课堂---Llama3-Tutorial（Llama 3 超级课堂）---第四节Llama 3 高效部署实践（LMDeploy 版）

本文主要是介绍五一超级课堂---Llama3-Tutorial（Llama 3 超级课堂）---第四节Llama 3 高效部署实践（LMDeploy 版），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

课程文档：
https://github.com/SmartFlowAI/Llama3-Tutorial
课程视频：
https://space.bilibili.com/3546636263360696/channel/collectiondetail?sid=2892740&spm_id_from=333.788.0.0
操作平台：
https://studio.intern-ai.org.cn/console/

# 如果你是InternStudio 可以直接使用
# studio-conda -t lmdeploy -o pytorch-2.1.2
# 初始化环境
conda create -n lmdeploy python=3.10
conda activate lmdeploy
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidiapip install -U lmdeploy[all]mkdir -p ~/model
cd ~/model
ln -s /root/share/new_models/meta-llama/Meta-Llama-3-8B-Instruct ~/model/Meta-Llama-3-8B-Instruct
## 如果下面命令报错则使用 apt install git git-lfs -y
#conda install git-lfs
#git-lfs install
#git clone https://code.openxlab.org.cn/MrCat/Llama-3-8B-Instruct.git Meta-Llama-3-8B-Instructconda activate lmdeploy
lmdeploy chat /root/model/Meta-Llama-3-8B-Instruct

这篇关于五一超级课堂---Llama3-Tutorial（Llama 3 超级课堂）---第四节Llama 3 高效部署实践（LMDeploy 版）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---