国内高速下载huggingface上的模型

2023-12-06 03:15

本文主要是介绍国内高速下载huggingface上的模型,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

目录

前言

modelscope 

huggingface安装

 Windows设置环境变量

 Linux设置环境变量 

设置国内镜像

 Windows(cmd.exe)

  当前窗口有效

  永久生效 

 Linux 

   当前窗口有效

   永久生效 

 下载模型


前言

国内优先使用modelscope,hugging face镜像站下载还是不怎么稳定。

modelscope 

modelscope:ModelScope - 模型列表页 

找下有没有需要的模型,有的话拷贝下 <namespace>/<model-name>,如图:

使用git clone:

git lfs clone https://www.modelscope.cn/<namespace>/<model-name>.git 

 比如我要下的是AI-ModelScope/stable-diffusion-xl-base-1.0,那么链接就是:

git lfs clone https://www.modelscope.cn/AI-ModelScope/stable-diffusion-xl-base-1.0.git


huggingface安装

Python版本至少是3.8 

安装hugging face官方提供的下载工具

pip install -U huggingface_hub hf-transfer

 Windows设置环境变量

在当前窗口设置临时环境变量(cmd.exe)

set HF_HUB_ENABLE_HF_TRANSFER 1

你也可以设置永久的环境变量(可能需要管理员权限)

setx HF_HUB_ENABLE_HF_TRANSFER 1

 Linux设置环境变量 

只是当前窗口下有效 

export HF_HUB_ENABLE_HF_TRANSFER=1

设置国内镜像

 Windows(cmd.exe)

  当前窗口有效

set HF_ENDPOINT https://hf-mirror.com

  永久生效 

setx HF_ENDPOINT https://hf-mirror.com

 Linux 

   当前窗口有效

export HF_ENDPOINT=https://hf-mirror.com

   永久生效 

# 配置环境变量
vim ~/.bashrc# 在打开文件中的最后一行添加
export HF_ENDPOINT="https://hf-mirror.com"

 下载模型

huggingface-cli download --token [访问令牌] --resume-download --local-dir-use-symlinks False [模型名] --local-dir [保存位置]

如果你使用的是conda,注意看下有没有切换对应的环境!!!

有些模型不需要token也能直接下载!!!把token选项去掉即可 

访问令牌获取链接:https://huggingface.co/settings/tokens

比如我要下载ChatGLM的模型,操作如下:

命令如:

 huggingface-cli download --resume-download --local-dir-use-symlinks False THUDM/chatglm3-6b --local-dir chatglm3-6b


参考文章

  • 如何快速下载huggingface大模型 – padeoe的小站
  • hf-mirror.com - Huggingface 镜像站

👍点赞,你的认可是我创作的动力 !
🌟收藏,你的青睐是我努力的方向!
✏️评论,你的意见是我进步的财富!     

这篇关于国内高速下载huggingface上的模型的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/460208

相关文章

详解如何使用Python从零开始构建文本统计模型

《详解如何使用Python从零开始构建文本统计模型》在自然语言处理领域,词汇表构建是文本预处理的关键环节,本文通过Python代码实践,演示如何从原始文本中提取多尺度特征,并通过动态调整机制构建更精确... 目录一、项目背景与核心思想二、核心代码解析1. 数据加载与预处理2. 多尺度字符统计3. 统计结果可

SpringBoot整合Sa-Token实现RBAC权限模型的过程解析

《SpringBoot整合Sa-Token实现RBAC权限模型的过程解析》:本文主要介绍SpringBoot整合Sa-Token实现RBAC权限模型的过程解析,本文给大家介绍的非常详细,对大家的学... 目录前言一、基础概念1.1 RBAC模型核心概念1.2 Sa-Token核心功能1.3 环境准备二、表结

Gradle在国内配置镜像加速的实现步骤

《Gradle在国内配置镜像加速的实现步骤》在国内使用Gradle构建项目时,最大的痛点就是依赖下载贼慢,甚至卡死,下面教你如何配置国内镜像加速Gradle下载依赖,主要是通过改写repositori... 目录引言一、修改 build.gradle 或 settings.gradle 的 reposito

如何为Yarn配置国内源的详细教程

《如何为Yarn配置国内源的详细教程》在使用Yarn进行项目开发时,由于网络原因,直接使用官方源可能会导致下载速度慢或连接失败,配置国内源可以显著提高包的下载速度和稳定性,本文将详细介绍如何为Yarn... 目录一、查询当前使用的镜像源二、设置国内源1. 设置为淘宝镜像源2. 设置为其他国内源三、还原为官方

Maven的使用和配置国内源的保姆级教程

《Maven的使用和配置国内源的保姆级教程》Maven是⼀个项目管理工具,基于POM(ProjectObjectModel,项目对象模型)的概念,Maven可以通过一小段描述信息来管理项目的构建,报告... 目录1. 什么是Maven?2.创建⼀个Maven项目3.Maven 核心功能4.使用Maven H

Android Studio 配置国内镜像源的实现步骤

《AndroidStudio配置国内镜像源的实现步骤》本文主要介绍了AndroidStudio配置国内镜像源的实现步骤,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,... 目录一、修改 hosts,解决 SDK 下载失败的问题二、修改 gradle 地址,解决 gradle

Spring Security基于数据库的ABAC属性权限模型实战开发教程

《SpringSecurity基于数据库的ABAC属性权限模型实战开发教程》:本文主要介绍SpringSecurity基于数据库的ABAC属性权限模型实战开发教程,本文给大家介绍的非常详细,对大... 目录1. 前言2. 权限决策依据RBACABAC综合对比3. 数据库表结构说明4. 实战开始5. MyBA

Java的IO模型、Netty原理解析

《Java的IO模型、Netty原理解析》Java的I/O是以流的方式进行数据输入输出的,Java的类库涉及很多领域的IO内容:标准的输入输出,文件的操作、网络上的数据传输流、字符串流、对象流等,这篇... 目录1.什么是IO2.同步与异步、阻塞与非阻塞3.三种IO模型BIO(blocking I/O)NI

基于Flask框架添加多个AI模型的API并进行交互

《基于Flask框架添加多个AI模型的API并进行交互》:本文主要介绍如何基于Flask框架开发AI模型API管理系统,允许用户添加、删除不同AI模型的API密钥,感兴趣的可以了解下... 目录1. 概述2. 后端代码说明2.1 依赖库导入2.2 应用初始化2.3 API 存储字典2.4 路由函数2.5 应

使用国内镜像源优化pip install下载的方法步骤

《使用国内镜像源优化pipinstall下载的方法步骤》在Python开发中,pip是一个不可或缺的工具,用于安装和管理Python包,然而,由于默认的PyPI服务器位于国外,国内用户在安装依赖时可... 目录引言1. 为什么需要国内镜像源?2. 常用的国内镜像源3. 临时使用国内镜像源4. 永久配置国内镜