大模型本地化部署1-Ollama安装（Windows）

本文主要是介绍大模型本地化部署1-Ollama安装（Windows），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

大模型本地化部署1-Ollama安装（Windows）

- 1、下载Ollama安装包
- 2、安装Ollama
- 3、设置模型存放目录
- 4、查看Ollama支持的模型
- 5、模型安装
- 6、查看已安装的模型列表
- 7、运行一个模型
- 8、设置Ollama允许外放访问

1、下载Ollama安装包

Ollama官网地址
https://ollama.com/
进入下载页面，如下图：
在这里插入图片描述
下载后的安装包如下图：

2、安装Ollama

双击OllamaSetup.exe，进行安装。

注意，在windows下安装时，是不允许选择安装位置的，默认是安装在系统盘的。
安装完毕后，打开终端进行验证，在终端中输入ollama

ollama

如果看到以下信息则说明安装成功
在这里插入图片描述

3、设置模型存放目录

在windows，ollama安装的模型，默认存放目录为C:/Users//.ollama/models
3.1、可以通过以下命令更改模型安装时的存放目录

# 只设置当前用户（需要先创建D:\ollama_models目录）
setx OLLAMA_MODELS "D:\ollama_models" 
# 为所有用户设置（需要先创建D:\ollama_models目录）
setx OLLAMA_MODELS "D:\ollama_models" /M

执行如下图：
在这里插入图片描述
3.2、重启终端（setx命令在windows中设置环境变量时，这个变量的更改只会在新打开的命令提示符窗口或终端会话中生效。）
3、重启ollama服务。

4、查看Ollama支持的模型

可以通过以下网址查看Ollama支持的模型列表：
https://ollama.com/library
如下图：
在这里插入图片描述
点击某个模型连接，比如qwen2，可以看到模型详细的介绍，如下图：

5、模型安装

可以通过以下命令进行模型安装

ollama pull qwen2

安装过程如下图：
在这里插入图片描述

安装完毕时如下：

6、查看已安装的模型列表

通过以下命令查看已安装的模型列表

ollama list

执行结果如下：
在这里插入图片描述

7、运行一个模型

通过以下命令运行一个模型

ollama run qwen2

启动后如下图：
在这里插入图片描述
然后就可以对话了，如下图：

在终端中退出对话和模型的运行，需要输入：

/bye

8、设置Ollama允许外放访问

1、默认情况下，在通过ollama运行一个模型时，默认的服务地址和端口为127.0.0.1:11434，可以通过以下命令看到。

ollama run --help

在这里插入图片描述
2、要想允许外部程序访问Ollama，需要把服务侦听的地址改为0.0.0.0:11434，在Windows下可以通过设置系统环境变量的方式修改，如下：

3、环境变量设置完毕后，需要重启ollama服务才能生效，ollama服务在启动的时候会读取这个环境变量的值，按这个值进行侦听。
由于windows下安装的ollama不是一个标准的windows service，所以智能直接结束连个ollama进程（先结束ollama app.exe，否则无法正常结束ollama.exe），如下图：
在这里插入图片描述
启动ollama可以从windows开始菜单中找到ollama，点击启动，如下图：

运行后会自动启动与Ollama相关的两个进程。其实，开始菜单中的Ollama就时Ollama app.exe，相当于ollama的守护进程，会自动监控ollama.exe的运行情况，如果发现ollama.exe结束后，会自动启动ollama.exe。
4、需要关闭终端重新启动终端，在新的终端中再运行模型。