不能访问huggingface、与GPU配置

2024-06-11 11:28

本文主要是介绍不能访问huggingface、与GPU配置,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

不能访问huggingface解决方法

        如果是从 huggingface.co 下载模型,由于国内不能访问,所以建议先配置一下环境变量,

通过访问国内镜像站点 https://hf-mirror.com来下载模型。

(1)Linux系统设置环境变量:

export HF_ENDPOINT=https://hf-mirror.com

示例源码很多需要连接huggingface,连接不上的话,请读者使用下面解决方案。

连接不上huggingface的解决方案

(1)对于部分需要学习使用bert的内容,可以参考如下链接:

GitHub - 649453932/Bert-Chinese-Text-Classification-Pytorch: 使用Bert,ERNIE,进行中文文本分类

(2)而对于其他部分,可以参考将huggingface替代使用modelscope完成,一个示例代码如下:

from modelscope import AutoTokenizer, AutoModel, snapshot_download

model_dir = "../chatglm3-6b"           #直接提供chatGLM3的存储地址

tokenizer = AutoTokenizer.from_pretrained(model_dir, trust_remote_code=True)

model = AutoModel.from_pretrained(model_dir, trust_remote_code=True).half().cuda()

model = model.eval()

response, history = model.chat(tokenizer, "小孩牙龈肿痛服用什么药", history=[])

print("普通ChatGLM询问结果:")

print(response)

这里就是将huggingface改成了modelscope,其他在使用上没有变化。

解决GPU模式不工作的一种方法

(1)PyTorch GPU 2.0.1版本安装,请读者学习本书时,直接使用官网地址https://pytorch.org/get-started/previous-versions/ 给出的conda命令安装。

命令如下:

# CUDA 11.8

conda install pytorch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 pytorch-cuda=11.8 -c pytorch -c nvidia

安装方法为,在Windows菜单上,点击打开Anaconda Prompt(Miniconda3) 窗口:

线管软件下载安装很快,安装完成后,使用conda list命令查看最终结果,可以看到如下安装包,注意查看一下pytorch-cuda那一行的信息:

直接采用(1)方法安装就解决问题了,不会出现(2)的问题。

(2)有一种情况:按官网给的pip命令行安装,但是GPU模式运行不起来。这是因为不能直接下载该版本 cuda 对应的 PyTorch,需要到官网上手动下载 torch 以及对应的 torchvision、torchaudio。

对于 torch 的下载网址为: https://download.pytorch.org/whl/torch_stable.html。下载你本机的 python 版本对应的 torch、torchvision、torchaudio 版本到指定文件夹下,直接在该文件夹下打开 cmd,在命令行中执行命令pip install ***.whl安装torch、torchvision、torchaudio。

如此,可能解决GPU模式运行不起来的问题。

我的驱动用了cuda 11.8,建议读者都用这个cuda 11.8版本。

DNN版本下了这个:cudnn-windows-x86_64-8.9.4.25_cuda11-archive

本书使用PyTorch 2.0.1版本,因此相应的安装包版本和执行命令如下

pip install torch-2.0.1+cu118-cp39-cp39-win_amd64.whl

pip install torchvision-0.15.2+cu118-cp39-cp39-win_amd64.whl

pip install torchaudio-2.0.2+cu118-cp39-cp39-win_amd64.whl

运行测试代码如下:

注意:代码打印出来的PyTorch版本号是2.0.1+cu118,不是2.0.1

(3)nvcc --version和nvidia-smi命令查看cuda版本不一致的问题怎么解决。

原因可能是因为nvcc和nvidia-smi显示的版本信息来源不同。

nvcc是NVIDIA CUDA编译器,它显示的是CUDA Toolkit的版本号。而nvidia-smi是NVIDIA System Management Interface,它显示的是NVIDIA驱动程序的版本号。

因此,如果您安装了不同版本的CUDA Toolkit和NVIDIA驱动程序,可以按NVIDIA驱动程序的版本,重新下载安装CUDA Toolkit。

我的驱动和Toolkit的版本一致的,都是11.8

这篇关于不能访问huggingface、与GPU配置的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1051034

相关文章

mybatis映射器配置小结

《mybatis映射器配置小结》本文详解MyBatis映射器配置,重点讲解字段映射的三种解决方案(别名、自动驼峰映射、resultMap),文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定... 目录select中字段的映射问题使用SQL语句中的别名功能使用mapUnderscoreToCame

Linux下MySQL数据库定时备份脚本与Crontab配置教学

《Linux下MySQL数据库定时备份脚本与Crontab配置教学》在生产环境中,数据库是核心资产之一,定期备份数据库可以有效防止意外数据丢失,本文将分享一份MySQL定时备份脚本,并讲解如何通过cr... 目录备份脚本详解脚本功能说明授权与可执行权限使用 Crontab 定时执行编辑 Crontab添加定

Java使用jar命令配置服务器端口的完整指南

《Java使用jar命令配置服务器端口的完整指南》本文将详细介绍如何使用java-jar命令启动应用,并重点讲解如何配置服务器端口,同时提供一个实用的Web工具来简化这一过程,希望对大家有所帮助... 目录1. Java Jar文件简介1.1 什么是Jar文件1.2 创建可执行Jar文件2. 使用java

SpringBoot 多环境开发实战(从配置、管理与控制)

《SpringBoot多环境开发实战(从配置、管理与控制)》本文详解SpringBoot多环境配置,涵盖单文件YAML、多文件模式、MavenProfile分组及激活策略,通过优先级控制灵活切换环境... 目录一、多环境开发基础(单文件 YAML 版)(一)配置原理与优势(二)实操示例二、多环境开发多文件版

Vite 打包目录结构自定义配置小结

《Vite打包目录结构自定义配置小结》在Vite工程开发中,默认打包后的dist目录资源常集中在asset目录下,不利于资源管理,本文基于Rollup配置原理,本文就来介绍一下通过Vite配置自定义... 目录一、实现原理二、具体配置步骤1. 基础配置文件2. 配置说明(1)js 资源分离(2)非 JS 资

MySQL8 密码强度评估与配置详解

《MySQL8密码强度评估与配置详解》MySQL8默认启用密码强度插件,实施MEDIUM策略(长度8、含数字/字母/特殊字符),支持动态调整与配置文件设置,推荐使用STRONG策略并定期更新密码以提... 目录一、mysql 8 密码强度评估机制1.核心插件:validate_password2.密码策略级

ShardingProxy读写分离之原理、配置与实践过程

《ShardingProxy读写分离之原理、配置与实践过程》ShardingProxy是ApacheShardingSphere的数据库中间件,通过三层架构实现读写分离,解决高并发场景下数据库性能瓶... 目录一、ShardingProxy技术定位与读写分离核心价值1.1 技术定位1.2 读写分离核心价值二

QT Creator配置Kit的实现示例

《QTCreator配置Kit的实现示例》本文主要介绍了使用Qt5.12.12与VS2022时,因MSVC编译器版本不匹配及WindowsSDK缺失导致配置错误的问题解决,感兴趣的可以了解一下... 目录0、背景:qt5.12.12+vs2022一、症状:二、原因:(可以跳过,直奔后面的解决方法)三、解决方

SpringBoot路径映射配置的实现步骤

《SpringBoot路径映射配置的实现步骤》本文介绍了如何在SpringBoot项目中配置路径映射,使得除static目录外的资源可被访问,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一... 目录SpringBoot路径映射补:springboot 配置虚拟路径映射 @RequestMapp

Nginx中配置使用非默认80端口进行服务的完整指南

《Nginx中配置使用非默认80端口进行服务的完整指南》在实际生产环境中,我们经常需要将Nginx配置在其他端口上运行,本文将详细介绍如何在Nginx中配置使用非默认端口进行服务,希望对大家有所帮助... 目录一、为什么需要使用非默认端口二、配置Nginx使用非默认端口的基本方法2.1 修改listen指令