GLM4-Chat-1M(号称可以输入200万字)的长文本测试结果(推理时间,推理效果)

2024-06-12 22:36

本文主要是介绍GLM4-Chat-1M(号称可以输入200万字)的长文本测试结果(推理时间,推理效果),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

GLM4-Chat-1M(号称可以输入200万字)的长文本测试结果(推理时间,推理效果)

测试方法

使用如下prompt,让模型提取小说(测试数据)中出现的人物名,数字表示用到的内容章节数目:

test_f=['3-这游戏也太真实了.txt','6-这游戏也太真实了.txt','9-这游戏也太真实了.txt','20-这游戏也太真实了.txt','50-这游戏也太真实了.txt','100-这游戏也太真实了.txt']
with open(test_f,'r', encoding='utf-8') as f:content=f.read()
query = '列出下面小说中出现过的所有人物名字:\n\n'+content

测试结果

总的来说: vllm框架比普通的generate生成结果更快挺多的,设备受限,目前测试最大的长度为455731万个字符,大约22万个token,确实是能跑的,大概需要80.355秒,从结果来看是可以接受的。但是模型的输出看起来时好时坏,不稳定。

测试方法长度(字符个数,不是token)推理时间
model.generate()111136.598 秒
model.generate()2240210.016 秒
model.generate()3177112.065 秒
model.generate()7582929.91 秒
vllm111133.564 秒
vllm224024.452 秒
vllm317719.565秒
vllm7582924.187秒
vllm17967620.810秒
vllm45573180.355秒

model.generate() test_f : 3-这游戏也太真实了.txt

content_length : 11113小说中出现的人物名字有:1. 叶炜
2. 少女公敌夜十次(昵称夜十)
3. 光
4. 八级大狂风(管理员)
5. 来日方长(管理员)
6. 白驹过隙(群主)
7. 少女公敌夜十次(管理员)
8. 楚光
9. 小柒(机器人)
10. 戒烟
11. 白驹过隙
12. 来日方长
13. 少女公敌夜十次
14. 叶炜
15. 刘哥
16. 叶炜

model.generate() test_f : 6-这游戏也太真实了.txt

content_length : 22402根据您提供的小说内容,以下是出现的人物名字:1. 叶炜
2. 少女公敌夜十次(昵称夜十)
3. 光
4. 八级大狂风(管理员)
5. 来日方长(管理员)
6. 白驹过隙(群主)
7. 戒烟
8. 楚光
9. 小柒(机器人)
10. 老沃特
11. 查理
12. 余小鱼
13. 白驹过隙(昵称老白)
14. 八级大狂风(昵称狂风)
15. 来日方长(昵称方长)
16. 少女公敌夜十次(昵称夜十)
17. 曙光(楚光在游戏中的代号)以上是小说中出现的主要人物名字。

model.generate() test_f : 9-这游戏也太真实了.txt

content_length : 31771根据您提供的小说内容,以下是出现的人物名字:1. 叶炜
2. 少女公敌夜十次(昵称夜十)
3. 光
4. 八级大狂风(管理员)
5. 来日方长(管理员)
6. 白驹过隙(群主)
7. 戒烟
8. 楚光
9. 小柒(机器人)
10. 老沃特
11. 查理
12. 余小鱼
13. 白驹过隙(昵称老白)
14. 八级大狂风(昵称狂风)
15. 来日方长(昵称方长)
16. 少女公敌夜十次(昵称夜十)以上是小说中出现的人物名字。

model.generate() test_f : 20-这游戏也太真实了.txt

content_length : 75829根据您提供的小说内容,以下是出现的人物名字:1. 叶炜
2. 楚光
3. 小柒
4. 白驹过隙
5. 八级大狂风
6. 来日方长
7. 少女公敌夜十次
8. 戒烟
9. 光
10. 沃特
11. 查理
12. 余小鱼
13. 余虎
14. 王德福
15. 李斯特
16. 老白
17. 方长
18. 狂风
19. 夜十
20. 汪海洋
21. 岩风
22. WC真有蚊子以上是小说中出现的主要人物名字,可能还有其他一些次要人物,但根据您提供的文本内容,以上人物名字是主要的。

vllm test_f : 3-这游戏也太真实了.txt

content_length : 111131. 叶炜
2. 小柒
3. 楚光
4. 光
5. 白驹过隙
6. 八级大狂风
7. 来日方长
8. 少女公敌夜十次
9. 戒烟

vllm test_f :6-这游戏也太真实了.txt

content_length : 224021. 叶炜
2. 夜十次
3. 光
4. 八级大狂风
5. 来日方长
6. 白驹过隙
7. 戒烟
8. 楚光
9. 小七
10. 老沃特
11. 查理
12. 余小鱼

vllm test_f : 9-这游戏也太真实了.txt

content_length : 31771在第一章、第二章和第五章中,出现了以下人物名字:1. 叶炜
2. 光在第三章中,出现了以下人物名字:1. 楚光
2. 小柒 (别名废纸篓)
3. 老沃特
4. 查理在第四章中,出现了以下人物名字:1. 余小鱼在第五章中,出现了以下人物名字:1. 查理
2. 小鸟在第七章中,出现了以下人物名字:1. 狂风
2. 方长
3. 夜十在第八章中,出现了以下人物名字:1. 狂风
2. 方长
3. 夜十在第九章中,出现了以下人物名字:1. 楚光
2. 小柒
3. 方长以上是所有出现的名字。

vllm test_f : 9-这游戏也太真实了.txt

content_length : 75829根据您提供的文本,以下列出小说中出现过的所有人物名字:1. **叶炜**:学生,因一场意外被送到平行世界的废土世界,并成为了避难所的管理者。2. **楚光**:原本是地球上的一个普通大学生,因为一场意外穿越到了废土世界,成为了避难所的管理者和最终的游戏策划。 3. **小柒**:一个废纸篓型的机器人,楚光的助手,可以隐藏、移动,还能接收任务。4. **女公敌夜十次**:游戏的玩家,叶炜在现实世界中的朋友。5. **光**:叶炜在群里的昵称,是楚光的同班同学,也是穿越到废土世界的人。6. **八级大狂风**:游戏的玩家,叶炜在群里的朋友,也是楚光的同班同学。7. **来日方长**:游戏的玩家,叶炜在群里的朋友,同时也是楚光的同班同学。8. **白驹过隙**:叶炜在群里的朋友,同时也是群主。9. **戒烟**:叶炜在群里的朋友。10. **老沃特**:贝特街的幸存者,从事猎杀变异生物的工作。11. **查理**:贝特街的废品回收站老板。12. **余小鱼**:余家的女儿。13. **王德福**:王家的儿子。14. **余家三儿子**:余虎,是余小鱼的哥哥。15. **李斯特**:巨石城的商队队长。16. **WC真有蚊子**:加入游戏的玩家,对木头有深入了解。17. **夜十/叶十**:游戏中的玩家,是感知系的,基因序列的开发进度一开始是0,但通过砍树逐渐提升。18. **老白**:游戏中的玩家,被任命为建筑队长,是力量系的。19. **方长**:游戏中的玩家,是智力系的,主动实现水泥制造,幸福度提升。20. **狂风**:游戏中的玩家,是力量系的。**请注意**:以上列表并不包括全文中出现过的所有配角,只列出了主要的角色。

vllm test_f : 50-这游戏也太真实了.txt

content_length : 1796761. 叶炜(少女公敌夜十次)
2. 来日方长(管理员,群主)
3. 刘正月(幸存者首领)
4. 王德福(王家三子)
5. 余小鱼(王家女儿)
6. 陈扬(艾兵)
7. 夏盐(佣兵,后成为武器商人)

vllm test_f : 100-这游戏也太真实了.txt

content_length : 455731根据小说内容,以下是小说中出现的人物名字:1. 叶炜:主角,少女公敌夜十次的网友。
2. 楚光:男主角,404号避难所的管理者和管理者系统的使用者。
3. 少女公敌夜十次:游戏群成员,昵称夜十,游戏群的博士,后成为查理的助理。
4. 八级大狂风:游戏群成员。
5. 来日方长:游戏群成员,后成为群主和创始人。
6. 戒烟:游戏群成员。
7. 白驹过隙:游戏群成员,后成为群主。
8. 楚光、小鱼:余小鱼是拾荒者余家的女儿,向男主角楚光提供食物,并希望他成为余家女婿。
9. 张三:某机构工作人员。
10. 陈扬:夏盐的小队队友,被夜十和方长在北门附近抓捕,后来被 squirtfired 。
11. 刘正月:布朗农庄的居民,后成为商队领袖。
12. 余虎、余熊:余家兄弟,和楚光有不错的交情。
13. 夏盐:巨石城佣兵,后被楚光救下。
14. 海恩:红河镇商人,后被楚光接纳为避难所的商人伙伴。
15. 伦娜:海恩的保镖,后成为避难所的佣兵。
16. 温:海恩的保镖,后成为避难所的佣兵。
17. 西红柿炒蛋:玩家。以上就是小说中出现的主要人物名字。

这篇关于GLM4-Chat-1M(号称可以输入200万字)的长文本测试结果(推理时间,推理效果)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/1055527

相关文章

go中的时间处理过程

《go中的时间处理过程》:本文主要介绍go中的时间处理过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1 获取当前时间2 获取当前时间戳3 获取当前时间的字符串格式4 相互转化4.1 时间戳转时间字符串 (int64 > string)4.2 时间字符串转时间

Golang如何对cron进行二次封装实现指定时间执行定时任务

《Golang如何对cron进行二次封装实现指定时间执行定时任务》:本文主要介绍Golang如何对cron进行二次封装实现指定时间执行定时任务问题,具有很好的参考价值,希望对大家有所帮助,如有错误... 目录背景cron库下载代码示例【1】结构体定义【2】定时任务开启【3】使用示例【4】控制台输出总结背景

使用Python进行GRPC和Dubbo协议的高级测试

《使用Python进行GRPC和Dubbo协议的高级测试》GRPC(GoogleRemoteProcedureCall)是一种高性能、开源的远程过程调用(RPC)框架,Dubbo是一种高性能的分布式服... 目录01 GRPC测试安装gRPC编写.proto文件实现服务02 Dubbo测试1. 安装Dubb

Python的端到端测试框架SeleniumBase使用解读

《Python的端到端测试框架SeleniumBase使用解读》:本文主要介绍Python的端到端测试框架SeleniumBase使用,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全... 目录SeleniumBase详细介绍及用法指南什么是 SeleniumBase?SeleniumBase

Python中图片与PDF识别文本(OCR)的全面指南

《Python中图片与PDF识别文本(OCR)的全面指南》在数据爆炸时代,80%的企业数据以非结构化形式存在,其中PDF和图像是最主要的载体,本文将深入探索Python中OCR技术如何将这些数字纸张转... 目录一、OCR技术核心原理二、python图像识别四大工具库1. Pytesseract - 经典O

苹果macOS 26 Tahoe主题功能大升级:可定制图标/高亮文本/文件夹颜色

《苹果macOS26Tahoe主题功能大升级:可定制图标/高亮文本/文件夹颜色》在整体系统设计方面,macOS26采用了全新的玻璃质感视觉风格,应用于Dock栏、应用图标以及桌面小部件等多个界面... 科技媒体 MACRumors 昨日(6 月 13 日)发布博文,报道称在 macOS 26 Tahoe 中

Python实现精准提取 PDF中的文本,表格与图片

《Python实现精准提取PDF中的文本,表格与图片》在实际的系统开发中,处理PDF文件不仅限于读取整页文本,还有提取文档中的表格数据,图片或特定区域的内容,下面我们来看看如何使用Python实... 目录安装 python 库提取 PDF 文本内容:获取整页文本与指定区域内容获取页面上的所有文本内容获取

C++ 函数 strftime 和时间格式示例详解

《C++函数strftime和时间格式示例详解》strftime是C/C++标准库中用于格式化日期和时间的函数,定义在ctime头文件中,它将tm结构体中的时间信息转换为指定格式的字符串,是处理... 目录C++ 函数 strftipythonme 详解一、函数原型二、功能描述三、格式字符串说明四、返回值五

从基础到进阶详解Pandas时间数据处理指南

《从基础到进阶详解Pandas时间数据处理指南》Pandas构建了完整的时间数据处理生态,核心由四个基础类构成,Timestamp,DatetimeIndex,Period和Timedelta,下面我... 目录1. 时间数据类型与基础操作1.1 核心时间对象体系1.2 时间数据生成技巧2. 时间索引与数据

详解如何使用Python从零开始构建文本统计模型

《详解如何使用Python从零开始构建文本统计模型》在自然语言处理领域,词汇表构建是文本预处理的关键环节,本文通过Python代码实践,演示如何从原始文本中提取多尺度特征,并通过动态调整机制构建更精确... 目录一、项目背景与核心思想二、核心代码解析1. 数据加载与预处理2. 多尺度字符统计3. 统计结果可