第三十一篇-OneAPI+Ollama实现配置

2024-06-14 02:36

本文主要是介绍第三十一篇-OneAPI+Ollama实现配置,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

本文介绍使用oneapi+ollama实现openai接口实现

环境要求

Docker version 26.1.3
具体安装不会,百度

安装oneapi

mkdir /home/oneapi/data
docker run --name one-api -d --restart always -p 3000:3000 -e TZ=Asia/Shanghai -v /home/oneapi/data:/data justsong/one-api

登录oneapi

http://192.168.31.111:3000
默认密码 root 123456
需要自己改新密码

启动ollama

本次使用本地ollama
ollama run qwen:0.5b-chat-v1.5-q4_1 启动ollama
验证http://192.168.31.161:11434Ollama is running

配置oneapi渠道

渠道-->添加新的渠道类型  Ollama名称  自己填写分组 随意模型  点击输入自定义模型名称 --> 填入我输入的是qwen:0.5b-chat-v1.5-q4_1秘钥  111111随意代理http://192.168.31.161:11434

配置oneapi渠道-测试

点击渠道选择相应渠道的【测试】右上角显示 渠道xx测试成功

配置oneapi令牌

点击令牌输入一个名字点击提交

测试openai

import openai# 设置您的 API 密钥
openai.api_key = "sk-PpZaxFu0pyOsvgQP8eE7073c5a014aD8858eE80c941aD129"# 设置自定义的 API 请求地址
openai.api_base = "http://192.168.31.111:3000/v1"# 设置对话的 prompt
messages = [{"role": "system", "content": ""},{"role": "user", "content": "1+1=?"}
]
# 使用 OpenAI API 进行聊天
response = openai.ChatCompletion.create(model="qwen:0.5b-chat-v1.5-q4_1",messages=messages,max_tokens=100,n=1,stop=None,temperature=0.5,
)# 输出回复
assistant_message = response.choices[0].message
print(assistant_message.content)

openai.api_key 是点击自己创建令牌的复制按钮

完成

到目前为值,一个openai接口协议的接口完成了配置,后端是自己的ollama

这篇关于第三十一篇-OneAPI+Ollama实现配置的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1059130

相关文章

HTML5 getUserMedia API网页录音实现指南示例小结

《HTML5getUserMediaAPI网页录音实现指南示例小结》本教程将指导你如何利用这一API,结合WebAudioAPI,实现网页录音功能,从获取音频流到处理和保存录音,整个过程将逐步... 目录1. html5 getUserMedia API简介1.1 API概念与历史1.2 功能与优势1.3

gitlab安装及邮箱配置和常用使用方式

《gitlab安装及邮箱配置和常用使用方式》:本文主要介绍gitlab安装及邮箱配置和常用使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1.安装GitLab2.配置GitLab邮件服务3.GitLab的账号注册邮箱验证及其分组4.gitlab分支和标签的

Java实现删除文件中的指定内容

《Java实现删除文件中的指定内容》在日常开发中,经常需要对文本文件进行批量处理,其中,删除文件中指定内容是最常见的需求之一,下面我们就来看看如何使用java实现删除文件中的指定内容吧... 目录1. 项目背景详细介绍2. 项目需求详细介绍2.1 功能需求2.2 非功能需求3. 相关技术详细介绍3.1 Ja

MySQL MCP 服务器安装配置最佳实践

《MySQLMCP服务器安装配置最佳实践》本文介绍MySQLMCP服务器的安装配置方法,本文结合实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下... 目录mysql MCP 服务器安装配置指南简介功能特点安装方法数据库配置使用MCP Inspector进行调试开发指

使用Python和OpenCV库实现实时颜色识别系统

《使用Python和OpenCV库实现实时颜色识别系统》:本文主要介绍使用Python和OpenCV库实现的实时颜色识别系统,这个系统能够通过摄像头捕捉视频流,并在视频中指定区域内识别主要颜色(红... 目录一、引言二、系统概述三、代码解析1. 导入库2. 颜色识别函数3. 主程序循环四、HSV色彩空间详解

PostgreSQL中MVCC 机制的实现

《PostgreSQL中MVCC机制的实现》本文主要介绍了PostgreSQL中MVCC机制的实现,通过多版本数据存储、快照隔离和事务ID管理实现高并发读写,具有一定的参考价值,感兴趣的可以了解一下... 目录一 MVCC 基本原理python1.1 MVCC 核心概念1.2 与传统锁机制对比二 Postg

SpringBoot整合Flowable实现工作流的详细流程

《SpringBoot整合Flowable实现工作流的详细流程》Flowable是一个使用Java编写的轻量级业务流程引擎,Flowable流程引擎可用于部署BPMN2.0流程定义,创建这些流程定义的... 目录1、流程引擎介绍2、创建项目3、画流程图4、开发接口4.1 Java 类梳理4.2 查看流程图4

C++中零拷贝的多种实现方式

《C++中零拷贝的多种实现方式》本文主要介绍了C++中零拷贝的实现示例,旨在在减少数据在内存中的不必要复制,从而提高程序性能、降低内存使用并减少CPU消耗,零拷贝技术通过多种方式实现,下面就来了解一下... 目录一、C++中零拷贝技术的核心概念二、std::string_view 简介三、std::stri

C++高效内存池实现减少动态分配开销的解决方案

《C++高效内存池实现减少动态分配开销的解决方案》C++动态内存分配存在系统调用开销、碎片化和锁竞争等性能问题,内存池通过预分配、分块管理和缓存复用解决这些问题,下面就来了解一下... 目录一、C++内存分配的性能挑战二、内存池技术的核心原理三、主流内存池实现:TCMalloc与Jemalloc1. TCM

OpenCV实现实时颜色检测的示例

《OpenCV实现实时颜色检测的示例》本文主要介绍了OpenCV实现实时颜色检测的示例,通过HSV色彩空间转换和色调范围判断实现红黄绿蓝颜色检测,包含视频捕捉、区域标记、颜色分析等功能,具有一定的参考... 目录一、引言二、系统概述三、代码解析1. 导入库2. 颜色识别函数3. 主程序循环四、HSV色彩空间