MLU370配置环境以及算子转换流程

2024-04-18 22:28

本文主要是介绍MLU370配置环境以及算子转换流程,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

在MLU370上运行程序,需要把项目代码算子转化一下,算子转换的代码:

python /torch/src/catch/tools/torch_gpu2mlu/torch_gpu2mlu.py -i /路径/

例如:python /torch/src/catch/tools/torch_gpu2mlu/torch_gpu2mlu.py -i /workspace/volume/shixisheng/zjb/StructBERT-base/

相当于把整个项目文件夹都算子转换了

然后建立环境装包

跟本地一样

就是如果你要装transformers的话,需要按照如下方式安装:

git clone -bv4.32.0 https://githubfast.com/huggingface/transformers.git

安装完成后需进行编译,算子转换

python /torch/src/catch/tools/torch_gpu2mlu/torch_gpu2mlu.py -i /transformers所在文件夹路径/ 

例如:python /torch/src/catch/tools/torch_gpu2mlu/torch_gpu2mlu.py -i /workspace/volume/ysl/zjb/transformers/

运行完上一步会出现一个名为transformers_mlu的文件夹,再安装下面的

pip install -e ./transformers_mlu/

到这transformers就装好了

同样的方式安装accelerate==0.22.0 https://githubfast.com/huggingface/accelerate.git

再算子转换再安装

如果你需要装deepspeed的话,需要装另外一个文件,文件见附件。

除了这三个包这样安装,其他的都是直接pip install

然后就是运行代码  和本地一样

简而言之,就是项目文件夹要先转换一下,然后装包的时候,特殊的三个需要先转换再安装,其他都是正常安装,其他都和本地一样。

如果要装deepspeed的话,就安装这个文件

其他:如果需要四卡运行test.py请使用这个命令:

export MLU_VISIBLE_DEVICES=0,1,2,3 && python test.py

这篇关于MLU370配置环境以及算子转换流程的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/915980

相关文章

Nginx 重写与重定向配置方法

《Nginx重写与重定向配置方法》Nginx重写与重定向区别:重写修改路径(客户端无感知),重定向跳转新URL(客户端感知),try_files检查文件/目录存在性,return301直接返回永久重... 目录一.try_files指令二.return指令三.rewrite指令区分重写与重定向重写: 请求

Nginx 配置跨域的实现及常见问题解决

《Nginx配置跨域的实现及常见问题解决》本文主要介绍了Nginx配置跨域的实现及常见问题解决,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来... 目录1. 跨域1.1 同源策略1.2 跨域资源共享(CORS)2. Nginx 配置跨域的场景2.1

gitlab安装及邮箱配置和常用使用方式

《gitlab安装及邮箱配置和常用使用方式》:本文主要介绍gitlab安装及邮箱配置和常用使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1.安装GitLab2.配置GitLab邮件服务3.GitLab的账号注册邮箱验证及其分组4.gitlab分支和标签的

MySQL MCP 服务器安装配置最佳实践

《MySQLMCP服务器安装配置最佳实践》本文介绍MySQLMCP服务器的安装配置方法,本文结合实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下... 目录mysql MCP 服务器安装配置指南简介功能特点安装方法数据库配置使用MCP Inspector进行调试开发指

SpringBoot整合Flowable实现工作流的详细流程

《SpringBoot整合Flowable实现工作流的详细流程》Flowable是一个使用Java编写的轻量级业务流程引擎,Flowable流程引擎可用于部署BPMN2.0流程定义,创建这些流程定义的... 目录1、流程引擎介绍2、创建项目3、画流程图4、开发接口4.1 Java 类梳理4.2 查看流程图4

python常见环境管理工具超全解析

《python常见环境管理工具超全解析》在Python开发中,管理多个项目及其依赖项通常是一个挑战,下面:本文主要介绍python常见环境管理工具的相关资料,文中通过代码介绍的非常详细,需要的朋友... 目录1. conda2. pip3. uvuv 工具自动创建和管理环境的特点4. setup.py5.

Redis Cluster模式配置

《RedisCluster模式配置》:本文主要介绍RedisCluster模式配置,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录分片 一、分片的本质与核心价值二、分片实现方案对比 ‌三、分片算法详解1. ‌范围分片(顺序分片)‌2. ‌哈希分片3. ‌虚

SpringBoot项目配置logback-spring.xml屏蔽特定路径的日志

《SpringBoot项目配置logback-spring.xml屏蔽特定路径的日志》在SpringBoot项目中,使用logback-spring.xml配置屏蔽特定路径的日志有两种常用方式,文中的... 目录方案一:基础配置(直接关闭目标路径日志)方案二:结合 Spring Profile 按环境屏蔽关

Python中使用uv创建环境及原理举例详解

《Python中使用uv创建环境及原理举例详解》uv是Astral团队开发的高性能Python工具,整合包管理、虚拟环境、Python版本控制等功能,:本文主要介绍Python中使用uv创建环境及... 目录一、uv工具简介核心特点:二、安装uv1. 通过pip安装2. 通过脚本安装验证安装:配置镜像源(可

Maven 配置中的 <mirror>绕过 HTTP 阻断机制的方法

《Maven配置中的<mirror>绕过HTTP阻断机制的方法》:本文主要介绍Maven配置中的<mirror>绕过HTTP阻断机制的方法,本文给大家分享问题原因及解决方案,感兴趣的朋友一... 目录一、问题场景:升级 Maven 后构建失败二、解决方案:通过 <mirror> 配置覆盖默认行为1. 配置示