Ollama教程，本地部署大模型Ollama，docker安装方法，仅供学习使用

本文主要是介绍Ollama教程，本地部署大模型Ollama，docker安装方法，仅供学习使用，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

不可商用！！仅仅提供学习使用！

先上视频教学：

Ollama教程，本地部署大模型Ollama，docker安装方法，仅供学习使用！

资料获取：

Ollama下载包和安装文档在这里：阿里云地址

https://www.alipan.com/s/ft9WkSX5zbH
点击链接保存，或者复制本段内容，打开「阿里云盘」APP ，无需下载极速在线查看，视频原画倍速播放。

简易教学

Ollama教程：本地部署大模型Ollama

一、Ollama简介

Ollama是一个开源的大型语言模型服务工具，它帮助用户快速在本地运行大模型。用户可以通过简单的安装指令，在本地运行开源大型语言模型，如Llama 2等。

二、本地部署Ollama

下载Ollama
- 访问Ollama官网（https://ollama.ai/download），根据你使用的系统下载相应版本。
- 截止到2024年2月16日，Ollama已经支持Windows系统。
安装Ollama
- 在Linux系统中，可以通过执行以下命令进行安装：curl https://ollama.ai/install.sh | sh
- 在Windows系统中，直接双击运行安装文件即可。
使用Ollama
- 访问Ollama的模型库（https://ollama.ai/library），检索并运行你想使用的模型。例如，运行Llama 2的命令为：ollama run llama2
配置Ollama的模型路径
- Ollama的模型默认会存储在用户文件夹下的.ollama/models文件夹中。你可以通过配置环境变量OLLAMA_MODELS来指定模型路径。
下载和运行模型
- 以llama3模型为例，该模型有8B和70B两个版本，分别代表80亿和700亿个训练参数。你可以通过命令ollama run llama3来默认安装8B模型，或者使用ollama run llama3:8b来指定安装8B模型。

Docker安装Ollama方法

安装NVIDIA Container Toolkit（如果使用NVIDIA GPU）
- 配置repository：curl -s -L <https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo> | sudo tee /etc/yum.repos.d/nvidia-container-toolkit.repo
- 安装NVIDIA Container Toolkit包：sudo yum install -y nvidia-container-toolkit
配置Docker以使用NVIDIA驱动
- 执行命令：sudo nvidia-ctk runtime configure --runtime=docker
- 重启Docker服务：sudo systemctl restart docker
拉取和运行Ollama镜像
- 使用CUDA运行：docker run -d --restart=always --gpus=all -v /mydata/docker/local/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
- 使用AMD显卡运行：docker run -d --restart=always --device /dev/kfd --device /dev/dri -v /mydata/docker/local/ollama/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama:rocm
运行模型
- 首次运行会拉取镜像，之后可以直接运行。例如，运行Llama3 7B的命令为：docker exec -it ollama ollama run llama3

以上是关于Ollama本地部署和Docker安装方法的详细教程。

补充

配置Ollama的模型路径

配置Ollama的模型路径通常涉及到设置环境变量，这样Ollama就能知道在哪里查找和加载模型文件。以下是一般步骤来配置Ollama的模型路径：

确定模型存储位置：
首先，你需要确定你的模型文件存放在哪个目录下。这个目录可以是本地文件系统上的任何位置。
设置环境变量：
在Unix/Linux系统中，你可以使用export命令来设置环境变量。在Windows系统中，你可以通过“系统属性”->“高级”->“环境变量”来设置。

对于Unix/Linux系统，你可以打开你的shell配置文件（比如~/.bashrc或~/.bash_profile），并添加以下行来设置环境变量：
bash复制代码

export OLLAMA_MODELS=/path/to/your/models
替换/path/to/your/models为你的模型实际存放的目录路径。

然后，你需要使这个更改生效。如果你已经打开了shell，你可以运行source ~/.bashrc（或你的配置文件名）来加载新的环境变量。否则，你可以关闭并重新打开你的shell。

对于Windows系统，你需要：
- 右键点击“此电脑”或“计算机”，选择“属性”。
- 点击“高级系统设置”。
- 在“高级”选项卡中，点击“环境变量”。
- 在“系统变量”部分，点击“新建”来创建一个新的环境变量。
- 输入变量名OLLAMA_MODELS和变量值（即你的模型路径）。
- 点击“确定”保存更改。
重启Ollama：
如果你已经运行了Ollama服务，你可能需要重启它以使新的环境变量设置生效。这通常可以通过停止服务并重新启动来完成。
验证配置：
在Ollama中运行一个命令来加载或列出模型，以确保Ollama能够正确找到并加载模型文件。

注意，Ollama的确切配置方法可能会根据其版本和文档有所不同。因此，建议参考Ollama的官方文档或GitHub存储库中的README文件以获取最准确的信息。此外，如果Ollama提供了一个配置文件或命令行选项来设置模型路径，那么你也可以使用那些方法。

找不到环境变量在哪里？

当您提到找不到环境变量在哪里时，我理解您可能是在询问如何在不同的操作系统中查看或设置环境变量。以下是在不同操作系统中查看和设置环境变量的清晰步骤：

Windows系统

查看环境变量：
- 右键点击“此电脑”或“计算机”，选择“属性”。
- 点击“高级系统设置”。
- 在“高级”选项卡中，点击“环境变量”。
- 在这里，您可以看到“用户变量”和“系统变量”两个部分。用户变量仅对当前用户有效，而系统变量对所有用户都有效。
设置环境变量：
- 在“用户变量”或“系统变量”部分，点击“新建”来创建一个新的环境变量。
- 输入变量名（如MY_ENV_VAR）和变量值（如C:\path\to\your\directory）。
- 点击“确定”保存更改。

Linux系统

查看环境变量：
- 打开终端。
- 输入printenv命令查看所有环境变量。
- 或者，使用echo $VARIABLE_NAME（将VARIABLE_NAME替换为您要查看的变量名）来查看特定环境变量的值。
设置环境变量（临时，仅在当前终端会话中有效）：
- 在终端中，使用export VARIABLE_NAME=value命令（将VARIABLE_NAME替换为您要设置的变量名，value替换为值）。
设置环境变量（永久）：
- 对于所有用户，编辑/etc/profile、/etc/environment或/etc/bash.bashrc文件（取决于您的系统和需求）。
- 对于当前用户，编辑~/.bashrc、~/.bash_profile、~/.profile或~/.zshrc文件（取决于您使用的shell）。
- 在文件的末尾添加export VARIABLE_NAME=value。
- 保存文件后，重新加载配置文件（如source ~/.bashrc）或重新登录以使更改生效。

Mac系统

查看环境变量：
- 打开终端。
- 输入printenv命令查看所有环境变量。
- 或者，使用echo $VARIABLE_NAME（将VARIABLE_NAME替换为您要查看的变量名）来查看特定环境变量的值。
设置环境变量（临时，仅在当前终端会话中有效）：
- 在终端中，使用export VARIABLE_NAME=value命令（将VARIABLE_NAME替换为您要设置的变量名，value替换为值）。
设置环境变量（永久）：
- 对于所有用户，编辑/etc/profile或/etc/launchd.conf文件（但请注意，/etc/launchd.conf在较新版本的macOS中可能不再使用）。
- 对于当前用户，编辑~/.bash_profile、~/.zshrc或~/.profile文件（取决于您使用的shell）。
- 在文件的末尾添加export VARIABLE_NAME=value。
- 保存文件后，重新加载配置文件（如source ~/.bash_profile或source ~/.zshrc）或重新登录以使更改生效。