GPT2代码运行,个人文本生成助手,不依赖OpenAI API调用

2023-12-23 20:30

本文主要是介绍GPT2代码运行,个人文本生成助手,不依赖OpenAI API调用,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

0.前言: 感觉GPT很好玩,所以想要有个自己搭建GPT的写法,不依赖于OpenAI,需要翻墙太麻烦了,近日日本已经结合GPT4和机器,可以让他吓人,做出丰富的表情,如果自己训练的话,会塑造出什么样的机器人尚未可知…抱着好奇的心态,去github openai下载了个gpt2的模型来玩玩(其中遇到了许多坑),也尝试过其他开源的gpt模型(autogpt(还是调用openai的接口,但是以后可能在个人电脑上一键生成项目),gptfree,gpt4all也是调用api,chinesegpt中文模型可以生成但是慢),奈何对电脑的要求太高了,使用2的话可塑性比较强,而且我想要的是大家的电脑都能用上…
//日本机器人模仿表情

https://www.douyin.com/video/7312024142310559039

1.官方gpt2项目地址

https://github.com/openai/gpt-2

2.由于官方使用docker部署的,所以他使用了 python3这个镜像,我们是使用windows来运行的,遇到了许多坑,python版本他们没有给,只能自己调试出来
//我想起了进行java编程maven引入依赖经常出现不兼容的问题,那我可以通过他给的几个版本号来间接推理出其他的版本,假设springboot是3.x,我可以去官网看看他们对应的版本关系,然后在慢慢调试让程序运行起来…

//下面是项目调试后的版本 改掉requirements.txt的内容 python3.7

fire==0.5.0
regex==2023.10.3
TensorFlow==1.13.1
protobuf==3.6.1
requests==2.21.0
tqdm==4.31.1

//安装依赖

pip3 install -r requirements.txt

3.使用
//根据DEVELOPERS.md的说明安装model,官方说了这个项目是给学者研究的,你可以选择任意一个模型来下载,我下载了124M的回答效果很一般emmm

python download_model.py 124M
python download_model.py 355M
python download_model.py 774M
python download_model.py 1558M

//unconditional_samples其实就是你不给他文本他随意生成文本
//使用管道符,把内容生成为一个文本

python src/generate_unconditional_samples.py | tee C:\samples.txt

//效果,语义挺连贯的 He’s lying on a cabinet shelf" until the camera
reopens and a version of Goku transforms into sure next plusSciped It works for youtube 在这里插入图片描述
//缺点是生成的时间太长了使用cpu的话,再看看能不能使用gpu来生成会不会好一点

4.使用对话式生成,unconditional

python src/generate_unconditional_samples.py -- --help

//效果不好,难道模型太小了? 我说fish 他说 同志/女同 的法律与预期不赋
在这里插入图片描述
//6个G…下载好了再看看效果
在这里插入图片描述

这篇关于GPT2代码运行,个人文本生成助手,不依赖OpenAI API调用的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/529340

相关文章

Java -jar命令如何运行外部依赖JAR包

《Java-jar命令如何运行外部依赖JAR包》在Java应用部署中,java-jar命令是启动可执行JAR包的标准方式,但当应用需要依赖外部JAR文件时,直接使用java-jar会面临类加载困... 目录引言:外部依赖JAR的必要性一、问题本质:类加载机制的限制1. Java -jar的默认行为2. 类加

Python实现自动化Word文档样式复制与内容生成

《Python实现自动化Word文档样式复制与内容生成》在办公自动化领域,高效处理Word文档的样式和内容复制是一个常见需求,本文将展示如何利用Python的python-docx库实现... 目录一、为什么需要自动化 Word 文档处理二、核心功能实现:样式与表格的深度复制1. 表格复制(含样式与内容)2

java -jar命令运行 jar包时运行外部依赖jar包的场景分析

《java-jar命令运行jar包时运行外部依赖jar包的场景分析》:本文主要介绍java-jar命令运行jar包时运行外部依赖jar包的场景分析,本文给大家介绍的非常详细,对大家的学习或工作... 目录Java -jar命令运行 jar包时如何运行外部依赖jar包场景:解决:方法一、启动参数添加: -Xb

python如何生成指定文件大小

《python如何生成指定文件大小》:本文主要介绍python如何生成指定文件大小的实现方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录python生成指定文件大小方法一(速度最快)方法二(中等速度)方法三(生成可读文本文件–较慢)方法四(使用内存映射高效生成

详解如何使用Python从零开始构建文本统计模型

《详解如何使用Python从零开始构建文本统计模型》在自然语言处理领域,词汇表构建是文本预处理的关键环节,本文通过Python代码实践,演示如何从原始文本中提取多尺度特征,并通过动态调整机制构建更精确... 目录一、项目背景与核心思想二、核心代码解析1. 数据加载与预处理2. 多尺度字符统计3. 统计结果可

C/C++和OpenCV实现调用摄像头

《C/C++和OpenCV实现调用摄像头》本文主要介绍了C/C++和OpenCV实现调用摄像头,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一... 目录准备工作1. 打开摄像头2. 读取视频帧3. 显示视频帧4. 释放资源5. 获取和设置摄像头属性

Maven项目中集成数据库文档生成工具的操作步骤

《Maven项目中集成数据库文档生成工具的操作步骤》在Maven项目中,可以通过集成数据库文档生成工具来自动生成数据库文档,本文为大家整理了使用screw-maven-plugin(推荐)的完... 目录1. 添加插件配置到 pom.XML2. 配置数据库信息3. 执行生成命令4. 高级配置选项5. 注意事

基于Python实现智能天气提醒助手

《基于Python实现智能天气提醒助手》这篇文章主要来和大家分享一个实用的Python天气提醒助手开发方案,这个工具可以方便地集成到青龙面板或其他调度框架中使用,有需要的小伙伴可以参考一下... 目录项目概述核心功能技术实现1. 天气API集成2. AI建议生成3. 消息推送环境配置使用方法完整代码项目特点

MybatisX快速生成增删改查的方法示例

《MybatisX快速生成增删改查的方法示例》MybatisX是基于IDEA的MyBatis/MyBatis-Plus开发插件,本文主要介绍了MybatisX快速生成增删改查的方法示例,文中通过示例代... 目录1 安装2 基本功能2.1 XML跳转2.2 代码生成2.2.1 生成.xml中的sql语句头2

使用Python实现调用API获取图片存储到本地的方法

《使用Python实现调用API获取图片存储到本地的方法》开发一个自动化工具,用于从JSON数据源中提取图像ID,通过调用指定API获取未经压缩的原始图像文件,并确保下载结果与Postman等工具直接... 目录使用python实现调用API获取图片存储到本地1、项目概述2、核心功能3、环境准备4、代码实现