本文主要是介绍AI大模型之旅--本地Ollama部署，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
Ollama 是一个本地推理框架，允许开发人员轻松地在本地部署和运行 LLM
例如 Llama 3、Mistral 和 Gemma
Ollama 提供了一种简单的方法来部署 LLM 到本地环境。您可以使用 Ollama 的命令行界面或图形界面来完成此操作。
安装部署：
1.下载并且安装
官网下载地址 ：https://ollama.com/download/linux
curl -fsSL https://ollama.com/install.sh | sh
2.# sudo vim 打开编辑器
sudo vim /etc/systemd/system/ollama.service
Environment之后增加一个"OLLAMA_HOST=0.0.0.0
3.命令行界面
要使用命令行界面部署 LLM，您可以使用以下命令：
ollama pull
例如，要部署 Llama 3 模型，您可以使用以下命令：
ollama pull llama3
web界面ollama-webUI
ollama-webUI 提供一个空架子界面，没有后台模型，它只是一个摆设，不能生成任何响应；而ollama只提供一个可调用的模型接口，同样的，没有图形化的UI，大模型的使用效果大大折扣。因此必须将UI类项目与模型接口类项目联动起来，才能得到我们自己的“ChatLlama
1.docker部署，如下下载ollama webUI界面
sudo docker run -d -p 3333:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
执行完成启动起来界面如下
可以在如下界面选择下载模型
2.如果显示无法下载，则代表web-ui和ollama没有连接成功
看下docker 日志
sudo docker logs --tail 200 -f 7c31c72f48f6
报错如下：
ERROR [apps.ollama.main] Connection error: Cannot connect to host host.docker.internal:11434 ssl:default [Connection refused]
INFO: 127.0.0.1:43394 - “GET /health HTTP/1.1” 200 OK
INFO [apps.openai.main] get_all_models()
INFO [apps.ollama.main] get_all_models()
ERROR [apps.ollama.main] Connection error: Cannot connect to host host.docker.internal:11434 ssl:default [Connection refused]
INFO: 127.0.0.1:42198 - “GET /health HTTP/1.1” 200 OK
需要增加如下配置
sudo vim /etc/systemd/system/ollama.service
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"
如下
然后重启后，应该就可以看见了
systemctl daemon-reload
systemctl restart ollama
关于ollama的命令
1.进入llama3运行环境：
ollama run llama3
2.启动服务：
ollama serve
3.重启ollama
systemctl daemon-reload
systemctl restart ollama
4.关闭
lsof -i :11434
kill <PID>
这篇关于AI大模型之旅--本地Ollama部署的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
