WSL AI工具以及开发环境的准备

2024-06-24 08:36
文章标签 工具 ai 开发 环境 准备 wsl

本文主要是介绍WSL AI工具以及开发环境的准备,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

  • 安装VSCode,Visual Studio 或者 Jetbrain
  • 安装CUDA和CUDNN
  • 准备WSL环境
    • 1. 安装WSL
    • 2. 为WSL准备CUDA的Toolkits
  • 安装Miniconda
  • 一些值得安装的Dockers镜像
    • 1. Tensorflow-GPU
    • 2. LabelStudio

随着技术进步与完备,现在利用Windows进行AI或者算法原型的开发和研究已经逐渐成为一种可选项,甚至是一种极其推荐的方式。如果你本人对此也有兴趣,那么下面这些内容可能会对你有所帮助。

安装VSCode,Visual Studio 或者 Jetbrain

VSCode 是比较推荐的IDE,不仅因为它免费,更重要是因为它有诸多强大的可供选择插件。如果你需要开发C程序,并且想使用VSCode作为你的主力开发工具,你还需要为此安装和准备CMake

https://cmake.org/download/

当然 Visual Studio 也是可以考虑的选项,如果你没钱支付高昂的授权费,那么可以安装Community Edition的版本

https://visualstudio.microsoft.com/downloads/

如果预算比较充足,考虑Jetbrain全家桶也是可行的。

https://www.jetbrains.com/zh-cn/

安装CUDA和CUDNN

CUDA已经是目标AI或者并行计算的事实上的标准,所以如果你的电脑有Nvidia的显卡,那么你应该为你的环境准备一下CUDA和CUDNN。

首先从下面的链接,安装CUDA

https://developer.nvidia.com/cuda-toolkit

然后安装CUDNN

https://developer.nvidia.cn/cudnn

准备WSL环境

当这些都准备完毕后,可以考虑安装WSL,也就是Windows的Linux子系统,你需要依次执行下面的过程。

1. 安装WSL

如果没有安装过WSL,那么首先你需要先打开Powershell,或者CMD,然后输入

wsl --install

这个过程一般需要耗费一点时间,并为你的系统安装所需的全部组件。之后,建议你把WSL设置为版本2.

wsl  --set-default-version  2

若要指定运行 Linux 发行版的 WSL 版本(1 或 2),请将 替换为发行版的名称,并将 替换为 1 或 2。 比较 WSL 1 和 WSL 2。 WSL 2 仅在 Windows 11 或 Windows 10 版本 1903、内部版本 18362 或更高版本中可用。

然后安装Linux子系统,这里推荐 Ubuntu-22.04

wsl --install -d Ubuntu-22.04

但是你依然可以执行以下命令,查看其他可选项

wsl --list --online

另外,你可使用下面的命令查看在本地安装好的Linux子系统

wsl --list --verbose

关于更多的详细操作,你也可以参考Microsoft的官网

https://learn.microsoft.com/zh-cn/windows/wsl/basic-commands#list-available-linux-distributions

2. 为WSL准备CUDA的Toolkits

安装好WSL后,建议你再次回到Nvidia的CUDA页面,下载WSL的工具包。因为你将能够在Windows直接体验到类似在Linux上编写CUDA代码的乐趣,或者运行某些模型的时候,会需要你安装WSL的CUDA工具包。

对了,安装完毕后,你有可能需要配置一下PATH环境,把下面的这段代码贴到.bashrc文件中。

export PATH=/usr/local/cuda/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH

当安装完毕后,可以在子系统中编写下面的CUDA代码,并用NVCC工具编译。它可以检查你当前的系统有那些GPU计算卡可以使用,并进行一个简单的矩阵加法运算。

#include "cuda_runtime.h"
#include "device_launch_parameters.h"#include <stdio.h>cudaError_t addWithCuda(int *c, const int *a, const int *b, unsigned int size);__global__ void addKernel(int *c, const int *a, const int *b) {int i = threadIdx.x;c[i] = a[i] + b[i];
}int chooseCudaDevice() {int deviceCount;cudaGetDeviceCount(&deviceCount);if (deviceCount == 0) {fprintf(stderr, "No CUDA devices found!\n");return -1;}printf("Available CUDA devices:\n");for (int i = 0; i < deviceCount; ++i) {cudaDeviceProp prop;cudaGetDeviceProperties(&prop, i);printf("%d: %s\n", i, prop.name);}int deviceChoice;printf("Select the device number to use: ");if (scanf("%d", &deviceChoice) != 1 || deviceChoice < 0 || deviceChoice >= deviceCount) {fprintf(stderr, "Invalid device choice!\n");return -1;}return deviceChoice;
}int main() {const int arraySize = 5;const int a[arraySize] = {1, 2, 3, 4, 5};const int b[arraySize] = {10, 20, 30, 40, 50};int c[arraySize] = {0};int selectedDevice = chooseCudaDevice();if (selectedDevice == -1) {return 1;}// Add vectors in parallel using the selected device.cudaError_t cudaStatus = cudaSetDevice(selectedDevice);if (cudaStatus != cudaSuccess) {fprintf(stderr, "cudaSetDevice failed! Do you have a CUDA-capable GPU installed?");return 1;}cudaStatus = addWithCuda(c, a, b, arraySize);if (cudaStatus != cudaSuccess) {fprintf(stderr, "addWithCuda failed!");return 1;}printf("{1,2,3,4,5} + {10,20,30,40,50} = {%d,%d,%d,%d,%d}\n",c[0], c[1], c[2], c[3], c[4]);// cudaDeviceReset must be called before exiting in order for profiling// and tracing tools such as Nsight and Visual Profiler to show complete traces.cudaStatus = cudaDeviceReset();if (cudaStatus != cudaSuccess) {fprintf(stderr, "cudaDeviceReset failed!");return 1;}return 0;
}cudaError_t addWithCuda(int *c, const int *a, const int *b, unsigned int size) {int *dev_a = 0;int *dev_b = 0;int *dev_c = 0;cudaError_t cudaStatus;// Allocate GPU buffers for three vectors (two input, one output).cudaStatus = cudaMalloc((void **) &dev_c, size * sizeof(int));if (cudaStatus != cudaSuccess) {fprintf(stderr, "cudaMalloc failed!");goto Error;}cudaStatus = cudaMalloc((void **) &dev_a, size * sizeof(int));if (cudaStatus != cudaSuccess) {fprintf(stderr, "cudaMalloc failed!");goto Error;}cudaStatus = cudaMalloc((void **) &dev_b, size * sizeof(int));if (cudaStatus != cudaSuccess) {fprintf(stderr, "cudaMalloc failed!");goto Error;}// Copy input vectors from host memory to GPU buffers.cudaStatus = cudaMemcpy(dev_a, a, size * sizeof(int), cudaMemcpyHostToDevice);if (cudaStatus != cudaSuccess) {fprintf(stderr, "cudaMemcpy failed!");goto Error;}cudaStatus = cudaMemcpy(dev_b, b, size * sizeof(int), cudaMemcpyHostToDevice);if (cudaStatus != cudaSuccess) {fprintf(stderr, "cudaMemcpy failed!");goto Error;}// Launch a kernel on the GPU with one thread for each element.addKernel<<<1, size>>>(dev_c, dev_a, dev_b);// Check for any errors launching the kernel.cudaStatus = cudaGetLastError();if (cudaStatus != cudaSuccess) {fprintf(stderr, "addKernel launch failed: %s\n", cudaGetErrorString(cudaStatus));goto Error;}// cudaDeviceSynchronize waits for the kernel to finish, and returns any errors.cudaStatus = cudaDeviceSynchronize();if (cudaStatus != cudaSuccess) {fprintf(stderr, "cudaDeviceSynchronize returned error code %d after launching addKernel!\n", cudaStatus);goto Error;}// Copy output vector from GPU buffer to host memory.cudaStatus = cudaMemcpy(c, dev_c, size * sizeof(int), cudaMemcpyDeviceToHost);if (cudaStatus != cudaSuccess) {fprintf(stderr, "cudaMemcpy failed!");goto Error;}Error:cudaFree(dev_c);cudaFree(dev_a);cudaFree(dev_b);return cudaStatus;
}

安装Miniconda

之后下一步是配置Python的开发环境,推荐使用Miniconda,并且把相关环境安装到Windows中,而不是Linux子系统。究其原因是因为类似Jetbrain的全家桶,或者PyCharm之类的IDE并不支持WSL的CONDA环境。所以直接安装在Windows下会更好一些。如果在Linux子环境也存在需要运行Python程序的情况,可以依照Conda的官方说明,执行必要的安装过程。

https://docs.anaconda.com/miniconda/miniconda-install/

安装完CUDA后,可以开始考虑依次安装PyTorch或者Tensorflow,具体的安装过程可以参考官方说明

Meta 家的Torch

https://pytorch.org/

Google家的Tensorflow

https://www.tensorflow.org/

Intel家的OpenVino

https://www.intel.cn/content/www/cn/zh/developer/tools/openvino-toolkit/overview.html

百度家的paddlepaddle

https://www.paddlepaddle.org.cn/

由于你已经准备好了WSL,并且空间还冗余的话,那么可以考虑再装一个Docker。因为一些工具库,或者项目因为缺少维护或者其他原因,已经不能在较新版本的CUDA下运行。

一些值得安装的Dockers镜像

这里有一些比较值得你安装的Dockers镜像

1. Tensorflow-GPU

不知道为什么Google家的Tensorflow GPU版本的更新进度一直比CPU版本的要慢,因此使用Dockers镜像会更合适一些

docker pull tensorflow/tensorflow                     # latest stable release
docker pull tensorflow/tensorflow:devel-gpu           # nightly dev release w/ GPU support
docker pull tensorflow/tensorflow:latest-gpu-jupyter  # latest release w/ GPU support and Jupyter

我个人是比较推荐下载带Jupyter版本的镜像,主要使用起来比较方便,但是你也可以只使用GPU版本的。

运行带Jupyter版本的,可以执行下述指令:

docker run -it -p 8888:8888 tensorflow/tensorflow:latest-gpu-jupyter

然后在本地8888端口,就可以正常使用了。

2. LabelStudio

LabelStudio 是一个用来数据标记的工具,也是我比较推荐的。

docker pull heartexlabs/label-studio

关于配置Docker参数的一些信息,可以从官网找到

https://labelstud.io/

这篇关于WSL AI工具以及开发环境的准备的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1089646

相关文章

PyQt5 GUI 开发的基础知识

《PyQt5GUI开发的基础知识》Qt是一个跨平台的C++图形用户界面开发框架,支持GUI和非GUI程序开发,本文介绍了使用PyQt5进行界面开发的基础知识,包括创建简单窗口、常用控件、窗口属性设... 目录简介第一个PyQt程序最常用的三个功能模块控件QPushButton(按钮)控件QLable(纯文本

Spring AI使用tool Calling和MCP的示例详解

《SpringAI使用toolCalling和MCP的示例详解》SpringAI1.0.0.M6引入ToolCalling与MCP协议,提升AI与工具交互的扩展性与标准化,支持信息检索、行动执行等... 目录深入探索 Spring AI聊天接口示例Function CallingMCPSTDIOSSE结束语

Go语言编译环境设置教程

《Go语言编译环境设置教程》Go语言支持高并发(goroutine)、自动垃圾回收,编译为跨平台二进制文件,云原生兼容且社区活跃,开发便捷,内置测试与vet工具辅助检测错误,依赖模块化管理,提升开发效... 目录Go语言优势下载 Go  配置编译环境配置 GOPROXYIDE 设置(VS Code)一些基本

基于Python实现简易视频剪辑工具

《基于Python实现简易视频剪辑工具》这篇文章主要为大家详细介绍了如何用Python打造一个功能完备的简易视频剪辑工具,包括视频文件导入与格式转换,基础剪辑操作,音频处理等功能,感兴趣的小伙伴可以了... 目录一、技术选型与环境搭建二、核心功能模块实现1. 视频基础操作2. 音频处理3. 特效与转场三、高

基于Python开发一个图像水印批量添加工具

《基于Python开发一个图像水印批量添加工具》在当今数字化内容爆炸式增长的时代,图像版权保护已成为创作者和企业的核心需求,本方案将详细介绍一个基于PythonPIL库的工业级图像水印解决方案,有需要... 目录一、系统架构设计1.1 整体处理流程1.2 类结构设计(扩展版本)二、核心算法深入解析2.1 自

三频BE12000国补到手2549元! ROG 魔盒Pro WIFI7电竞AI路由器上架

《三频BE12000国补到手2549元!ROG魔盒ProWIFI7电竞AI路由器上架》近日,华硕带来了ROG魔盒ProWIFI7电竞AI路由器(ROGSTRIXGR7Pro),目前新... 华硕推出了ROG 魔盒Pro WIFI7电竞AI路由器(ROG STRIX GR7 Phttp://www.cppcn

Windows环境下解决Matplotlib中文字体显示问题的详细教程

《Windows环境下解决Matplotlib中文字体显示问题的详细教程》本文详细介绍了在Windows下解决Matplotlib中文显示问题的方法,包括安装字体、更新缓存、配置文件设置及编码調整,并... 目录引言问题分析解决方案详解1. 检查系统已安装字体2. 手动添加中文字体(以SimHei为例)步骤

Java JDK1.8 安装和环境配置教程详解

《JavaJDK1.8安装和环境配置教程详解》文章简要介绍了JDK1.8的安装流程,包括官网下载对应系统版本、安装时选择非系统盘路径、配置JAVA_HOME、CLASSPATH和Path环境变量,... 目录1.下载JDK2.安装JDK3.配置环境变量4.检验JDK官网下载地址:Java Downloads

Python办公自动化实战之打造智能邮件发送工具

《Python办公自动化实战之打造智能邮件发送工具》在数字化办公场景中,邮件自动化是提升工作效率的关键技能,本文将演示如何使用Python的smtplib和email库构建一个支持图文混排,多附件,多... 目录前言一、基础配置:搭建邮件发送框架1.1 邮箱服务准备1.2 核心库导入1.3 基础发送函数二、

基于Python实现一个图片拆分工具

《基于Python实现一个图片拆分工具》这篇文章主要为大家详细介绍了如何基于Python实现一个图片拆分工具,可以根据需要的行数和列数进行拆分,感兴趣的小伙伴可以跟随小编一起学习一下... 简单介绍先自己选择输入的图片,默认是输出到项目文件夹中,可以自己选择其他的文件夹,选择需要拆分的行数和列数,可以通过