用 LM Studio 1 分钟搭建可在本地运行大型语言模型平台替代 ChatGPT

本文主要是介绍用 LM Studio 1 分钟搭建可在本地运行大型语言模型平台替代 ChatGPT,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

📌 简介

LM Studio是一个允许用户在本地离线运行大型语言模型(LLMs)的平台,它提供了一种便捷的方式来使用和测试这些先进的机器学习模型,而无需依赖于互联网连接。以下是LM Studio的一些关键特性:

  1. 脱机:用户可以在自己的笔记本电脑上运行LLMs,完全不需要在线连接。

  2. 用户界面:LM Studio提供了一个应用内聊天界面,用户可以通过这个界面与模型交互,或者使用一个与OpenAI兼容的本地服务器。

  3. 模型下载:用户可以从Hugging Face的🤗(即Hugging Face公司)仓库下载任何兼容的模型文件。

  4. 模型支持:LM Studio支持多种ggml Llama、MPT和StarCoder模型,这些模型都可以在Hugging Face上找到。

  5. 系统要求:为了运行LM Studio,用户需要M1/M2/M3 Mac,或者支持AVX2指令集的Windows PC。同时,它还提供了Linux系统的beta版本。

  6. 技术文档:LM Studio 提供了技术文档,以帮助用户更好地理解和使用这个平台。

  7. 项目支持:LM Studio的实现得益于llama.cpp项目。

  8. 隐私:当在本地运行模型时,没有信息被传输到云。尽管在使用GPT-4、Bard和claude 2等基于云的模型时,隐私问题可能被夸大了,但在本地运行模型可以避免任何问题。

  9. 实验:如果你看到了生成人工智能的价值,可以通过测试了解模型的细节并知道还有什么可用。

  10. 成本:开源模型是免费的,其中一些可以不受限制地用于商业。

LM Studio的目标是让大型语言模型更加易于访问和使用,同时减少对云服务的依赖,这对于希望在本地环境中进行模型训练和测试的研究人员和开发者来说非常有用。通过LM Studio,用户可以在自己的设备上探索和运行最新的语言模型,从而更好地控制数据隐私和安全性。

  • 官网下载地址:https://lmstudio.ai/

  • 官方文档:https://lmstudio.ai/docs/welcome

  • GitHub:https://github.com/lmstudio-ai

  • Studio并不开源,只是免费使用。

📌 使用说明

📍 下载安装

  • 官网下载地址:https://lmstudio.ai/

  • 按需选择要下载的版本【mac、windos、linux】

安装成功页面

📍 调整模型存储路径

  • 调整存储目录,方便管理,特别是 windos ,不要放默认的 C 盘

  • 注意存放模型的目录结构:/models/Publisher/Repository/

  • 自定义路径选择到 /models 层即可【我当时这里折腾了好久才加载出来模型】

注意存放模型的目录结构

📍 模型下载

安装之后打开, 搜索对应大模型, 下载, 举例: baichuan

点击左侧菜单栏文件夹图标进行管理

下载模型失败问题

如果出现下载模型失败问题,可以复制模型地址,然后用浏览器打开下载。关于网络问题:https://user.by.ltd/aff.php?aff=23165​​

📍 聊天

点击左侧菜单栏聊天图标, 新建聊天, 输入框输入内容

可能对回答的结果并不满意, 我们可以点击结果后面的编辑, 更正结果, 多次训练后, ai就回回复我们想要的答案

📍 API接口

点击菜单栏倒数第二个图标, 进入api页面; 随意设置一个端口号, 启动服务

打开浏览器查看服务是否启动

 AI 大模型全栈知识库👇

https://www.yuque.com/lhyyh/ai

我是一名资深 AI 全栈工程师,持续分享 AI 相关知识,感兴趣的小伙伴欢迎关注并一起学习、交流💪

 

这篇关于用 LM Studio 1 分钟搭建可在本地运行大型语言模型平台替代 ChatGPT的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/930039

相关文章

【C语言】动态分配内存

内存的五大分区 1、堆区(heap)——由程序员分配和释放, 若程序员不释放,程序结束时一般由操作系统回收。注意它与数据结构中的堆是两回事 2、栈区(stack)——由编译器自动分配释放 ,存放函数的参数值,局部变量等。其操作方式类似于数据结构中的栈 3、静态全局区 1)未初始化静态全局区 —— 静态变量,全局变量,没有初始化的存在此区 2)初始化的静态全局区 —— 静态变量、全局变量,赋

C语言中的Union(共用体)

C语言中的Union(共用体) 在C语言中,Union(共用体)是一种特殊的数据结构,它允许你在一个单独的内存空间中存储不同的数据类型。与Struct(结构体)相似,Union可以包含多种不同类型的成员,但与Struct不同的是,Union的成员共享同一块内存区域。这意味着任何时候,Union只存储一个成员的值,即使定义了多个成员。这种特性使得Union在处理需要节省空间或实现类型灵活转换的场景

tensorflow从已经训练好的模型中,恢复(指定)权重(构建新变量、网络)并继续训练(finetuning)

之前已经写了一篇《Tensorflow保存模型,恢复模型,使用训练好的模型进行预测和提取中间输出(特征)》,里面主要讲恢复模型然后使用该模型 假如要保存或者恢复指定tensor,并且把保存的graph恢复(插入)到当前的graph中呢? 总的来说,目前我会的是两种方法,命名都是很关键! 两种方式保存模型, 1.保存所有tensor,即整张图的所有变量, 2.只保存指定scope的变量 两种方式

教程 | 如何使用Keras、Redis、Flask和Apache把深度学习模型部署到生产环境?

本文介绍了如何使用 Keras、Redis、Flask 和 Apache 将自己的深度学习模型迁移到生产环境。文中的大多数工具可以互换,比如 Keras 可替换成 TensorFlow 或 PyTorch,Django 可代替 Flask,Nginx 可代替 Apache。作者唯一不推荐替换的工具是 Redis。同时本文还对深度学习 REST API 进行了压力测试,这种方法可以轻松扩展到添加的服

手把手教你如何部署深度学习模型

摘要: 本文将讲解如何部署深度学习模型,让你不再对如何快速地将机器学习模型部署到生产中感到困扰 我刚刚训练了机器学习模型——那么现在呢? 这篇文章介绍了一种快速的方法,将经过训练的机器学习模型部署到生产中。 请阅读以下内容:如果您已经成功地使用诸如Tensorflow或Caffe这样的ML框架来培训ML模型,那么您最好先做一个演示,最好早一点而不是晚一点,而且您更喜欢更便捷的解决方案,而不是

对大模型和AI的认识与思考

1. 写在前面 自从OpenAI在2022年11月30日发布了引领新一轮AI革命浪潮的产品ChatGPT以来,大模型和生成式AI这把大火在2023年越烧越旺,各种技术和应用层出不穷;而2023年11月,同样是OpenAI CEO山姆·奥特曼(Sam Altman)被开除后有回归,这100小时的宫斗赚足了媒体和世界网名的关注,引出了大家对AI安全的遐想和担忧。 以OpenAI开始,以OpenAI

微信/支付宝支付服务搭建,一次性搞定!

微信支付 付款码支付 付款码支付是指用户展示微信钱包内的“付款码”给商户系统扫描后直接完成支付,适用于线下场所面对面收银的场景,例如商超、便利店、餐饮、医院、学校、电影院和旅游景区等具有明确经营地址的实体场所JSAPI支付 JSAPI支付是指商户通过调用微信支付提供的JSAPI接口,在支付场景中调起微信支付模块完成收款。 应用场景有: 线下场所:调用接口生成二维码,用户扫描二维码后在微信

用大模型将QQ或微信聊天记录转化为思维导图

TencentRecordAnalysisV1.0.3.zip 蓝奏云:链接:链接TencentRecordAnalysis (lanzoub.com)密码:9hww 可以看到2024-01-09这一天,这个群比较活跃,但是我又不想通过微信找到这一天的聊天记录逐条查看。 于是,我用工具查直接查询这一天: 复制聊天内容,向KIMI提问(这家伙支持长文本)。 Pr

国内小白用什么方法充值使用ChatGPT4.0?

首先说一下IOS礼品卡订阅,目前最经济实惠的订阅方式,具体操作步骤 使用IOS设备充值,用 App Stroe 兑换券 1、支付宝地址切换旧金山,在里面买app store 的兑换卷 2、美区Apple ID登陆app store ,充值兑换券 3、IOS设备下载 ChatGPT APP IOS应用 4、使用魔法,登陆 ChatGPT 用户,登陆时需要验证一下。 5、登陆成功后,直接在

3亿会员、4亿商品,深度学习在大型电商商品推荐的应用实践!

常见算法套路 电商品推荐中的常见算法大致如下: 基于商品相似度 比如食物 A 和食物 B,根据它们的价格、味道、保质期、品牌等维度,可以计算它们的相似程度,可以想象,我买了包子,很有可能顺路带一盒水饺回家。 优点:冷启动,只要你有商品的数据,在业务初期用户数据不多的情况下,也可以做推荐。 缺点:预处理复杂,任何一件商品,维度可以说至少可以上百,如何选取合适的维度进行计算,涉及到工程经