Baichuan2开源聊天框架,使用Baichuan2-7B-Chat-4bits模型运行成功,硬件16G内存/GTX1070显卡

本文主要是介绍Baichuan2开源聊天框架,使用Baichuan2-7B-Chat-4bits模型运行成功,硬件16G内存/GTX1070显卡,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

前提摘要:
一.这几天一直在找开源的chatgpt框架,运行成功的有llama.cpp、chatgml2和baichuan2框架,先说说llama.cpp框架,使用的是cpu运行的框架,也成功了,但是我16g的cpu差点给我干烧了,太慢了,完全没法使用,相当累赘。
二.再说说chatgml2框架,这个框架该说不说,非常棒,gpu运行成功了,cpu运行也成功了,就是我的硬件是16G内存/GTX1070显卡,cpu运行非常慢但是比llama.cpp框架快一些,但是也不建议使用cpu运行,生成一个字要五分钟,实在太慢了,gpu运行速度是快了很多,大概一秒2个字的速度,当然是以我的显卡条件来评判的。
三.最后说说baichuan2框架,cpu运行不了,应该是16g的内存不够用,一运行直接卡死,gpu可以运行,运行成功后速度非常之快,大概是一秒钟10个字,同等硬件条件下比chatgml2框架运行速度快了五倍,真的牛逼!
四.下面我们来一步步的教大家使用Baichuan2-7B-Chat-4bits模型运行baichuan2框架,为什么不使用13B模型?那是因为13B模型跑不出来,一跑就卡死机,估计要32Gcpu内存以上,而且显卡要好!话不多说,开干!

在这里插入图片描述

1.安装cuda11.7版本的软件,找不到的使用我的网盘下载,如下
链接:https://pan.baidu.com/s/1ganjCJ2DLsCbw6D-lqsshA
提取码:p1hj
在这里插入图片描述

2.下载baichuan2框架,从我网盘里下载,里面有2个必须要的库包
链接:https://pan.baidu.com/s/15tDYWmXQRgQdf21mq3BwgQ
提取码:xfsl
在这里插入图片描述

3.安装pycharm软件和anaconda3软件,anaconda3里面创建一个3.10的python编译器
在这里插入图片描述

4.下载Baichuan2-7B-Chat-4bits模型地址如下,下载完成后放入自己的文件夹内
https://aliendao.cn/models/baichuan-inc/Baichuan2-7B-Chat-4bits
在这里插入图片描述

5.安装库包triton,使用命令

pip install .\triton-2.0.0-cp310-cp310-win_amd64.whl

在这里插入图片描述

6.安装库包bitsandbytes,使用命令

pip install .\bitsandbytes-0.41.1-py3-none-win_amd64.whl

在这里插入图片描述

7.安装其他库包,使用命令

pip install -r .\requirements.txt

在这里插入图片描述

8.运行成功图
在这里插入图片描述

这篇关于Baichuan2开源聊天框架,使用Baichuan2-7B-Chat-4bits模型运行成功,硬件16G内存/GTX1070显卡的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:https://blog.csdn.net/liaoqingjian/article/details/134054480
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/355421

相关文章

Java Thread中join方法使用举例详解

《JavaThread中join方法使用举例详解》JavaThread中join()方法主要是让调用改方法的thread完成run方法里面的东西后,在执行join()方法后面的代码,这篇文章主要介绍... 目录前言1.join()方法的定义和作用2.join()方法的三个重载版本3.join()方法的工作原

Spring AI使用tool Calling和MCP的示例详解

《SpringAI使用toolCalling和MCP的示例详解》SpringAI1.0.0.M6引入ToolCalling与MCP协议,提升AI与工具交互的扩展性与标准化,支持信息检索、行动执行等... 目录深入探索 Spring AI聊天接口示例Function CallingMCPSTDIOSSE结束语

Linux系统之lvcreate命令使用解读

《Linux系统之lvcreate命令使用解读》lvcreate是LVM中创建逻辑卷的核心命令,支持线性、条带化、RAID、镜像、快照、瘦池和缓存池等多种类型,实现灵活存储资源管理,需注意空间分配、R... 目录lvcreate命令详解一、命令概述二、语法格式三、核心功能四、选项详解五、使用示例1. 创建逻

在Java中使用OpenCV实践

《在Java中使用OpenCV实践》用户分享了在Java项目中集成OpenCV4.10.0的实践经验,涵盖库简介、Windows安装、依赖配置及灰度图测试,强调其在图像处理领域的多功能性,并计划后续探... 目录前言一 、OpenCV1.简介2.下载与安装3.目录说明二、在Java项目中使用三 、测试1.测

Python Web框架Flask、Streamlit、FastAPI示例详解

《PythonWeb框架Flask、Streamlit、FastAPI示例详解》本文对比分析了Flask、Streamlit和FastAPI三大PythonWeb框架:Flask轻量灵活适合传统应用... 目录概述Flask详解Flask简介安装和基础配置核心概念路由和视图模板系统数据库集成实际示例Stre

MySQL多实例管理如何在一台主机上运行多个mysql

《MySQL多实例管理如何在一台主机上运行多个mysql》文章详解了在Linux主机上通过二进制方式安装MySQL多实例的步骤,涵盖端口配置、数据目录准备、初始化与启动流程,以及排错方法,适用于构建读... 目录一、什么是mysql多实例二、二进制方式安装MySQL1.获取二进制代码包2.安装基础依赖3.清

C++中detach的作用、使用场景及注意事项

《C++中detach的作用、使用场景及注意事项》关于C++中的detach,它主要涉及多线程编程中的线程管理,理解detach的作用、使用场景以及注意事项,对于写出高效、安全的多线程程序至关重要,下... 目录一、什么是join()?它的作用是什么?类比一下:二、join()的作用总结三、join()怎么

mybatis中resultMap的association及collectio的使用详解

《mybatis中resultMap的association及collectio的使用详解》MyBatis的resultMap定义数据库结果到Java对象的映射规则,包含id、type等属性,子元素需... 目录1.reusltmap的说明2.association的使用3.collection的使用4.总

java内存泄漏排查过程及解决

《java内存泄漏排查过程及解决》公司某服务内存持续增长,疑似内存泄漏,未触发OOM,排查方法包括检查JVM配置、分析GC执行状态、导出堆内存快照并用IDEAProfiler工具定位大对象及代码... 目录内存泄漏内存问题排查1.查看JVM内存配置2.分析gc是否正常执行3.导出 dump 各种工具分析4.

Spring Boot配置和使用两个数据源的实现步骤

《SpringBoot配置和使用两个数据源的实现步骤》本文详解SpringBoot配置双数据源方法,包含配置文件设置、Bean创建、事务管理器配置及@Qualifier注解使用,强调主数据源标记、代... 目录Spring Boot配置和使用两个数据源技术背景实现步骤1. 配置数据源信息2. 创建数据源Be