BigDL-LLM 安装指南——在iGPU集成显卡下使用BigDL-LLM大模型库加速LLM

2024-03-14 14:04
文章标签 安装 使用 llm 加速 指南 集成显卡 模型库 bigdl igpu

本文主要是介绍BigDL-LLM 安装指南——在iGPU集成显卡下使用BigDL-LLM大模型库加速LLM，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

文章目录

    • iGPU是什么？
    • 一、环境准备
      • 1.1 Visual Studio 2022 Community 安装
      • 1.2 安装或更新最新版本的GPU驱动程序
      • 1.3 安装英特尔oneAPI工具包2024.0版本
      • 1.4 安装Anaconda
    • 二、BigDL -LLM 安装
      • 2.1 创建虚拟环境
      • 2.2 激活虚拟环境
      • 2.3 安装bigdl-llm[xpu]
    • 三、运行环境配置
    • 四、安装验证
    • 五、本地测试下BigDL-LLM大模型
    • 参考资料

iGPU是什么？

首先，我们普及以下iGPU的概念， iGPU， 全称为集成图形处理单元（Integrated Graphics Processing Unit），是一种嵌入在中央处理器（CPU）内部的图像处理单元。

与独立显卡相比，iGPU通常性能较低，但它具有低功耗、低成本和便携性等优势。

iGPU内存是指集成显卡（iGPU）使用的内存，通常嵌入在CPU或APU芯片中，与CPU共享内存，用于处理图形和视频等任务。iGPU内存可以是动态随机存储器（DRAM）或静态随机存储器（SRAM）类型，DRAM类型的iGPU内存可以被访问和修改，而SRAM类型的iGPU内存速度更快，但容量通常较小且不可修改。iGPU内存的容量通常取决于使用的处理器型号和制造商，例如英特尔的iGPU内存容量通常在1GB到2GB之间，而AMD的iGPU内存容量则较高，通常在2GB到8GB之间。这次博主使用的iGPU是联想最新推出的2024款联想小新Pro 16寸。

该电脑配置有32G的运行内存，共享GPU内存更是高达16G，甚至还配置有16G的NPU。

在这里插入图片描述

一、环境准备

1.1 Visual Studio 2022 Community 安装

安装点击此处👉：Visual Studio 2022 Community安装链接

在这里插入图片描述
安装的时候将使用C++的桌面开发选项选中。注意：如果C盘空间充足就直接安装到C盘，实在太少就安装到其他盘，但是还需配置一遍环境变量比较麻烦。
在这里插入图片描述
然后点击右下角的安装即可（这里我已经安装成功，所以没有安装选项）。

1.2 安装或更新最新版本的GPU驱动程序

这个操作一般都不需要，买的新电脑驱动应该是最新版的，详细可见：[GPU和NPU驱动安装与配置说明]。(https://docs.openvino.ai/archive/2023.2/openvino_docs_install_guides_configurations_header.html)

1.3 安装英特尔oneAPI工具包2024.0版本

安装点击此处👉：oneAPI工具包安装链接
在这里插入图片描述
进来后选择操作系统，这里我们选Windows，以及Online install下载，也就是在线下载。
然后，翻到下面点击
在这里插入图片描述
这里可能浏览器会阻止弹窗，那就不能下载成功，可以将弹窗阻止关闭。

1.4 安装Anaconda

安装点击此处👉：最新版本Anaconda安装地址

注意：如果电脑内存有限，建议安装miniconda，方法差不多，具体教程可以自行上网搜索，本篇博客就不再详细叙述。
在这里插入图片描述

如果嫌下载慢的话，也可以使用清华大学的软件镜像网站，点击此处👉清华大学软件镜像网站地址
在这里插入图片描述

在这里插入图片描述
下载完成后，我们点击安装包，开始进行安装。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
这里可以换一下安装路径到D盘，默认的是C盘。
在这里插入图片描述
在这里插入图片描述
最新版本安装时间有点长，静静等待即可。

在这里插入图片描述
在这里插入图片描述
以上两个，取消勾选，不然会打开网站和Anaconda导航工具。

步骤如下：此电脑----->属性----->高级系统设置----->环境变量----->path----->编辑----->新建(好多软件都是这里配置环境变量，大家应该不陌生)，懒得话直接按win键，搜索“环境变量”。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
配置好环境以后，我们进行测试一下。
在这里插入图片描述
返回版本就说明已经配置成功。

二、BigDL -LLM 安装

首先，请先创建一个python 3.9环境，上面我们已经安装了Anaconda，这里直接使用。
请注意：bigdl-llm 支持python 3.9, 3.10以及3.11。为了最佳使用体验，建议使用 python 3.9版本。

2.1 创建虚拟环境

打开 Anaconda Prompt 先创建一个虚拟环境。

conda create -n bigdl_llm python=3.9 libuv

在这里插入图片描述

2.2 激活虚拟环境

conda activate bigdl_llm

在这里插入图片描述

2.3 安装bigdl-llm[xpu]

pip install --pre --upgrade bigdl-llm[xpu] -f https://developer.intel.com/ipex-whl-stable-xpu

在这里插入图片描述
注意：如果在 pip install --pre --upgrade bigdl-llm[xpu] -f https://developer.intel.com/ipex-whl-stable-xpu 的过程中遇到 IPEX等相关库的安装问题，可以选择下面任意一种方式完成相关依赖的安装。

  1. 使用命令：pip install --pre --upgrade bigdl-llm[xpu] --extra-index-url https://pytorch-extension.intel.com/release-whl/stable/xpu/cn/

  2. 在安装bigdl-llm前，您需要先运行下面指令，下载 torch/torchvision/ intel-extension-for-pytorch 的对应whl文件。

wget https://intel-extension-for-pytorch.s3.amazonaws.com/ipex_stable/xpu/torch-2.1.0a0%2Bcxx11.abi-cp39-cp39-win_amd64.whl
wget https://intel-extension-for-pytorch.s3.amazonaws.com/ipex_stable/xpu/torchvision-0.16.0a0%2Bcxx11.abi-cp39-cp39-win_amd64.whl
wget https://intel-extension-for-pytorch.s3.amazonaws.com/ipex_stable/xpu/intel_extension_for_pytorch-2.1.10%2Bxpu-cp39-cp39-win_amd64.whl

下载完成后，您可以直接通过whl文件安装相关依赖，并完成bigdl-llm的安装。

pip install torch-2.1.0a0+cxx11.abi-cp39-cp39-win_amd64.whl
pip install torchvision-0.16.0a0+cxx11.abi-cp39-cp39-win_amd64.whl
pip install intel_extension_for_pytorch-2.1.10+xpu-cp39-cp39-win_amd64.whl
pip install --pre --upgrade bigdl-llm[xpu]

请注意：以上提供的whl包下载链接是针对python 3.9环境的，如果您想使用python 3.10或python 3.11，请将whl包名字中的cp39改为cp310或cp311。

三、运行环境配置

为了在Core Ultra 平台上的 iGPU上运行BigDL-LLM，我们需要完成相关环境变量的配置。

请您在预备运行代码的CMD（PowerShell不支持以下命令）终端中运行以下命令:

call "C:\Program Files (x86)\Intel\oneAPI\setvars.bat"set SYCL_CACHE_PERSISTENT=1
set BIGDL_LLM_XMX_DISABLED=1

在这里插入图片描述
注意事项：
1.每次重新打开终端时，请重新运行上面命令
2.每个新模型在iGPU上首次运行时，可能需要花费几分钟时间完成编译。

四、安装验证

完成安装后可以运行如下Python代码，以确保您已成功安装bigdl-llm及相关依赖，并完成了运行环境配置。运行后您应当看到这样的输出：torch.Size([1, 1, 40,40])

import torch
import intel_extension_for_pytorch as ipex
import linear_q4_0tensor_1 = torch.randn(1, 1, 40, 128).to('xpu')
tensor_2 = torch.randn(1, 1, 128, 40).to('xpu')
print(torch.matmul(tensor_1, tensor_2).size())

在python里面运行的时候，import torch 就会报以下的错误：
在这里插入图片描述
原因是numpy的版本太高了，我们可以使用quit()退出python，适当降低numpy的版本为1.26.4，即：

pip install numpy==1.26.4

在这里插入图片描述
这时候看已经不报错了~

但是运行import intel_extension_for_pytorch as ipex的时候还是会出现警告，但是无伤大雅。
在这里插入图片描述
这时候再运行其它命令就不会出现错误内容了~
在这里插入图片描述

五、本地测试下BigDL-LLM大模型

首先下载BigDL-LLM代码，点击此处👉BigDL-LLM的Github链接。

下载完代码以后，我们进入到BigDL-main/BigDL-main/python/llm/example/GPU/PyTorch-Models/Model/chatglm3/generate.py目录下，看下代码可以发现，这里调用的是github上的ChatGLM3模型权重，需要加载，但是很慢。

在这里插入图片描述
这里我推荐大家直接去我们国内的ModelScope魔搭社区，进行模型的下载，我们可以使用git命令，直接下载到本地，具体方法相信不需要我说大家都知道。
在这里插入图片描述

全部下载到本地以后，我们使用CMD命令行来进行大模型的运行，因为涉及到了下面三行CMD代码的执行，所以直接在CMD命令行里面运行。

call "C:\Program Files (x86)\Intel\oneAPI\setvars.bat"set SYCL_CACHE_PERSISTENT=1
set BIGDL_LLM_XMX_DISABLED=1

如果不运行上面三行代码，那么直接运行会进行报错。在这里插入图片描述
系统找不到该指定模块，但是我看我路径下确实有该文件，具体原因我上网尝试了很多方法都没解决（有大佬知道辛苦评论区指导~）。
在这里插入图片描述
我们直接进入到模型文件目录下，这次我用的是chatglm3b大模型。
在这里插入图片描述
然后输入cmd打开命令行。
在这里插入图片描述
记得每次打开新的命令行都需要重新输入以下三行命令：

call "C:\Program Files (x86)\Intel\oneAPI\setvars.bat"set SYCL_CACHE_PERSISTENT=1
set BIGDL_LLM_XMX_DISABLED=1

在这里插入图片描述

然后输入conda activate bigdl_llm 激活虚拟环境，如果有人以前没有在cmd命令行里面激活过conda虚拟环境，可以输入conda init 初始化conda环境，将cmd名号了关闭后重新进入，再此输入激活虚拟环境命令进行激活。
在这里插入图片描述

然后输入 python generate.py 运行代码：

在这里插入图片描述
可以看到，推理时间只有短短2s左右，速度还是很快的。
以上是调用XPU的推理速度，下面我们看看CPU的推理速度。
在这里插入图片描述
可以看到，借助了BigDL-LLM大模型加速库的情况下，cpu推理时间为3秒左右。

推理的结果，可以通过调整参数--n-predict来进行控制，默认值为32，我们调整到64以后可以看到下面回答的更加完整了一点。
在这里插入图片描述

参考资料

  • BigDL-LLM 代码仓库https://github.com/intel-analytics/BigDL/

  • BigDL-LLM 教程https://github.com/intel-analytics/bigdl-llm-tutorial

  • 社区流行模型使用BigDL-LLM在Intel CPU和GPU上的使用实例https://github.com/intel-analytics/BigDL/tree/main/python/llm/example

  • BigDL-LLM 文档https://bigdl.readthedocs.io/en/latest/index.html

  • BigDL-LLM API文档https://bigdl.readthedocs.io/en/latest/doc/PythonAPI/LLM/index.html

这篇关于BigDL-LLM 安装指南——在iGPU集成显卡下使用BigDL-LLM大模型库加速LLM的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/808642。

相关文章

Java中流式并行操作parallelStream的原理和使用方法

Java中流式并行操作parallelStream的原理和使用方法

《Java中流式并行操作parallelStream的原理和使用方法》本文详细介绍了Java中的并行流（parallelStream）的原理、正确使用方法以及在实际业务中的应用案例,并指出在使用并行流... 目录Java中流式并行操作parallelStream0. 问题的产生1. 什么是parallelS
阅读更多...
Linux join命令的使用及说明

Linux join命令的使用及说明

《Linuxjoin命令的使用及说明》`join`命令用于在Linux中按字段将两个文件进行连接,类似于SQL的JOIN,它需要两个文件按用于匹配的字段排序,并且第一个文件的换行符必须是LF,`jo... 目录一. 基本语法二. 数据准备三. 指定文件的连接key四.-a输出指定文件的所有行五.-o指定输出
阅读更多...
Linux jq命令的使用解读

Linux jq命令的使用解读

《Linuxjq命令的使用解读》jq是一个强大的命令行工具,用于处理JSON数据,它可以用来查看、过滤、修改、格式化JSON数据,通过使用各种选项和过滤器,可以实现复杂的JSON处理任务... 目录一. 简介二. 选项2.1.2.2-c2.3-r2.4-R三. 字段提取3.1 普通字段3.2 数组字段四.
阅读更多...
Linux kill正在执行的后台任务 kill进程组使用详解

Linux kill正在执行的后台任务 kill进程组使用详解

《Linuxkill正在执行的后台任务kill进程组使用详解》文章介绍了两个脚本的功能和区别,以及执行这些脚本时遇到的进程管理问题,通过查看进程树、使用`kill`命令和`lsof`命令,分析了子... 目录零. 用到的命令一. 待执行的脚本二. 执行含子进程的脚本，并kill2.1 进程查看2.2 遇到的
阅读更多...
JDK21对虚拟线程的几种用法实践指南

JDK21对虚拟线程的几种用法实践指南

《JDK21对虚拟线程的几种用法实践指南》虚拟线程是Java中的一种轻量级线程,由JVM管理,特别适合于I/O密集型任务,：本文主要介绍JDK21对虚拟线程的几种用法,文中通过代码介绍的非常详细,... 目录一、参考官方文档二、什么是虚拟线程三、几种用法1、Thread.ofVirtual().start(
阅读更多...
详解SpringBoot+Ehcache使用示例

详解SpringBoot+Ehcache使用示例

《详解SpringBoot+Ehcache使用示例》本文介绍了SpringBoot中配置Ehcache、自定义get/set方式,并实际使用缓存的过程,文中通过示例代码介绍的非常详细,对大家的学习或者... 目录摘要概念内存与磁盘持久化存储：配置灵活性：编码示例引入依赖：配置ehcache.XML文件：配置
阅读更多...
Java 虚拟线程的创建与使用深度解析

Java 虚拟线程的创建与使用深度解析

《Java虚拟线程的创建与使用深度解析》虚拟线程是Java19中以预览特性形式引入,Java21起正式发布的轻量级线程,本文给大家介绍Java虚拟线程的创建与使用,感兴趣的朋友一起看看吧... 目录一、虚拟线程简介1.1 什么是虚拟线程？1.2 为什么需要虚拟线程？二、虚拟线程与平台线程对比代码对比示例：三
阅读更多...
从基础到高级详解Go语言中错误处理的实践指南

从基础到高级详解Go语言中错误处理的实践指南

《从基础到高级详解Go语言中错误处理的实践指南》Go语言采用了一种独特而明确的错误处理哲学,与其他主流编程语言形成鲜明对比,本文将为大家详细介绍Go语言中错误处理详细方法,希望对大家有所帮助... 目录1 Go 错误处理哲学与核心机制1.1 错误接口设计1.2 错误与异常的区别2 错误创建与检查2.1 基础
阅读更多...
k8s按需创建PV和使用PVC详解

k8s按需创建PV和使用PVC详解

《k8s按需创建PV和使用PVC详解》Kubernetes中,PV和PVC用于管理持久存储,StorageClass实现动态PV分配,PVC声明存储需求并绑定PV,通过kubectl验证状态,注意回收... 目录1.按需创建 PV（使用 StorageClass）创建 StorageClass2.创建 PV
阅读更多...
Redis 基本数据类型和使用详解

Redis 基本数据类型和使用详解

《Redis基本数据类型和使用详解》String是Redis最基本的数据类型,一个键对应一个值,它的功能十分强大,可以存储字符串、整数、浮点数等多种数据格式,本文给大家介绍Redis基本数据类型和... 目录一、Redis 入门介绍二、Redis 的五大基本数据类型2.1 String 类型2.2 Hash
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2