本文主要是介绍Baichuan2百川模型部署的bug汇总，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
1.4bit的量化版本最好不要在Windows系统中运行，大概原因报错原因是bitsandbytes不支持window，bitsandbytes-windows目前仅支持8bit量化。
2.
报错原因是机器没有足够的内存和显存，offload_folder设置一个文件夹来保存那些离线加载到硬盘的权重。
ag：需要再cli_demo.py的文件中增加
offload_folder="offload" model.float()
3.安装对应的cuda版本 Python版本 pytorch版本
读者有bug可以在评论区留言，我会尽可能回复解答
这篇关于Baichuan2百川模型部署的bug汇总的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
