python安装tokenizers包@FreeBSD

2024-04-19 08:52

本文主要是介绍python安装tokenizers包@FreeBSD,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

tokenizers提供了当今最常用的tokenizers的实现,重点关注性能和多功能性。官网:GitHub - huggingface/tokenizers: 💥 Fast State-of-the-Art Tokenizers optimized for Research and Production

在FreeBSD系统python3.10下直接pip安装tokenizers报错,

pip install tokenizers
Looking in indexes: https://mirror.baidu.com/pypi/simple
Collecting tokenizersUsing cached https://mirror.baidu.com/pypi/packages/59/9a/7ba038f101d74fea0861c8f82e188441fe99b2a26fb0991da35f2850f9f3/tokenizers-0.19.0.tar.gz (320 kB)Installing build dependencies ... doneGetting requirements to build wheel ... donePreparing metadata (pyproject.toml) ... -errorerror: subprocess-exited-with-error× Preparing metadata (pyproject.toml) did not run successfully.│ exit code: 1╰─> [93 lines of output]Updating crates.io indexDownloading crates ...Downloaded darling_macro v0.20.8Downloaded windows-targets v0.52.5Downloaded derive_builder_macro v0.20.0Downloaded monostate-impl v0.1.12Downloaded pyo3-macros v0.21.2Downloaded fastrand v2.0.2Downloaded itoa v1.0.11Downloaded macro_rules_attribute-proc_macro v0.2.0Downloaded memoffset v0.9.1Downloaded rayon-cond v0.3.0Downloaded autocfg v1.2.0Downloaded env_filter v0.1.0Downloaded macro_rules_attribute v0.2.0Downloaded indoc v2.0.5Downloaded monostate v0.1.12Downloaded thiserror-impl v1.0.58Downloaded anstyle v1.0.6Downloaded either v1.11.0Downloaded num-integer v0.1.46Downloaded thiserror v1.0.58Downloaded pkg-config v0.3.30Downloaded darling v0.20.8Downloaded derive_builder_core v0.20.0Downloaded env_logger v0.11.3Downloaded pyo3-build-config v0.21.2Downloaded num-complex v0.4.5Downloaded anstream v0.6.13Downloaded quote v1.0.36Downloaded getrandom v0.2.14Downloaded derive_builder v0.20.0Downloaded tempfile v3.10.1Downloaded bitflags v2.5.0Downloaded proc-macro2 v1.0.81Downloaded ryu v1.0.17Downloaded serde_derive v1.0.198Downloaded log v0.4.21Downloaded num-traits v0.2.18Downloaded pyo3-macros-backend v0.21.2Downloaded matrixmultiply v0.3.8Downloaded darling_core v0.20.8Downloaded indicatif v0.17.8Downloaded pyo3-ffi v0.21.2Downloaded serde v1.0.198Downloaded cc v1.0.94Downloaded numpy v0.21.0Downloaded memchr v2.7.2Downloaded unicode-segmentation v1.11.0Downloaded aho-corasick v1.1.3Downloaded serde_json v1.0.116Downloaded esaxx-rs v0.1.10Downloaded rayon v1.10.0Downloaded regex v1.10.4Downloaded syn v2.0.59warning: spurious network error (3 tries remaining): [28] Timeout was reached (download of `regex-automata v0.4.6` failed to transfer more than 10 bytes in 30s)

于是改为手动安装

下载源代码

git clone https://github.com/huggingface/tokenizers

进入目录并编译安装

cd tokenizers/bindings/pythonpip install -e .

一般这样编译安装之后,后面即使碰到pip安装不同版本的tokenizers,也会顺利通过。

这篇关于python安装tokenizers包@FreeBSD的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/917090

相关文章

Linux系统中查询JDK安装目录的几种常用方法

《Linux系统中查询JDK安装目录的几种常用方法》:本文主要介绍Linux系统中查询JDK安装目录的几种常用方法,方法分别是通过update-alternatives、Java命令、环境变量及目... 目录方法 1:通过update-alternatives查询(推荐)方法 2:检查所有已安装的 JDK方

SQL Server安装时候没有中文选项的解决方法

《SQLServer安装时候没有中文选项的解决方法》用户安装SQLServer时界面全英文,无中文选项,通过修改安装设置中的国家或地区为中文中国,重启安装程序后界面恢复中文,解决了问题,对SQLSe... 你是不是在安装SQL Server时候发现安装界面和别人不同,并且无论如何都没有中文选项?这个问题也

2025版mysql8.0.41 winx64 手动安装详细教程

《2025版mysql8.0.41winx64手动安装详细教程》本文指导Windows系统下MySQL安装配置,包含解压、设置环境变量、my.ini配置、初始化密码获取、服务安装与手动启动等步骤,... 目录一、下载安装包二、配置环境变量三、安装配置四、启动 mysql 服务,修改密码一、下载安装包安装地

Redis MCP 安装与配置指南

《RedisMCP安装与配置指南》本文将详细介绍如何安装和配置RedisMCP,包括快速启动、源码安装、Docker安装、以及相关的配置参数和环境变量设置,感兴趣的朋友一起看看吧... 目录一、Redis MCP 简介二、安www.chinasem.cn装 Redis MCP 服务2.1 快速启动(推荐)2.

在macOS上安装jenv管理JDK版本的详细步骤

《在macOS上安装jenv管理JDK版本的详细步骤》jEnv是一个命令行工具,正如它的官网所宣称的那样,它是来让你忘记怎么配置JAVA_HOME环境变量的神队友,:本文主要介绍在macOS上安装... 目录前言安装 jenv添加 JDK 版本到 jenv切换 JDK 版本总结前言China编程在开发 Java

Python实现批量提取BLF文件时间戳

《Python实现批量提取BLF文件时间戳》BLF(BinaryLoggingFormat)作为Vector公司推出的CAN总线数据记录格式,被广泛用于存储车辆通信数据,本文将使用Python轻松提取... 目录一、为什么需要批量处理 BLF 文件二、核心代码解析:从文件遍历到数据导出1. 环境准备与依赖库

Linux下在线安装启动VNC教程

《Linux下在线安装启动VNC教程》本文指导在CentOS7上在线安装VNC,包含安装、配置密码、启动/停止、清理重启步骤及注意事项,强调需安装VNC桌面以避免黑屏,并解决端口冲突和目录权限问题... 目录描述安装VNC安装 VNC 桌面可能遇到的问题总结描js述linux中的VNC就类似于Window

Python Web框架Flask、Streamlit、FastAPI示例详解

《PythonWeb框架Flask、Streamlit、FastAPI示例详解》本文对比分析了Flask、Streamlit和FastAPI三大PythonWeb框架:Flask轻量灵活适合传统应用... 目录概述Flask详解Flask简介安装和基础配置核心概念路由和视图模板系统数据库集成实际示例Stre

Python实现PDF按页分割的技术指南

《Python实现PDF按页分割的技术指南》PDF文件处理是日常工作中的常见需求,特别是当我们需要将大型PDF文档拆分为多个部分时,下面我们就来看看如何使用Python创建一个灵活的PDF分割工具吧... 目录需求分析技术方案工具选择安装依赖完整代码实现使用说明基本用法示例命令输出示例技术亮点实际应用场景扩

Python错误AttributeError: 'NoneType' object has no attribute问题的彻底解决方法

《Python错误AttributeError:NoneTypeobjecthasnoattribute问题的彻底解决方法》在Python项目开发和调试过程中,经常会碰到这样一个异常信息... 目录问题背景与概述错误解读:AttributeError: 'NoneType' object has no at