GLM4-Chat-1M（号称可以输入200万字）的长文本测试结果（推理时间，推理效果）

本文主要是介绍GLM4-Chat-1M（号称可以输入200万字）的长文本测试结果（推理时间，推理效果），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

GLM4-Chat-1M（号称可以输入200万字）的长文本测试结果（推理时间，推理效果）

测试方法

使用如下prompt，让模型提取小说（测试数据）中出现的人物名，数字表示用到的内容章节数目：

test_f=['3-这游戏也太真实了.txt','6-这游戏也太真实了.txt','9-这游戏也太真实了.txt','20-这游戏也太真实了.txt','50-这游戏也太真实了.txt','100-这游戏也太真实了.txt']
with open(test_f,'r', encoding='utf-8') as f:content=f.read()
query = '列出下面小说中出现过的所有人物名字：\n\n'+content

测试结果

总的来说： vllm框架比普通的generate生成结果更快挺多的，设备受限，目前测试最大的长度为455731万个字符，大约22万个token，确实是能跑的，大概需要80.355秒，从结果来看是可以接受的。但是模型的输出看起来时好时坏，不稳定。

测试方法	长度(字符个数，不是token)	推理时间
model.generate()	11113	6.598 秒
model.generate()	22402	10.016 秒
model.generate()	31771	12.065 秒
model.generate()	75829	29.91 秒
vllm	11113	3.564 秒
vllm	22402	4.452 秒
vllm	31771	9.565秒
vllm	75829	24.187秒
vllm	179676	20.810秒
vllm	455731	80.355秒

model.generate() test_f : 3-这游戏也太真实了.txt

content_length : 11113小说中出现的人物名字有：1. 叶炜
2. 少女公敌夜十次（昵称夜十）
3. 光
4. 八级大狂风（管理员）
5. 来日方长（管理员）
6. 白驹过隙（群主）
7. 少女公敌夜十次（管理员）
8. 楚光
9. 小柒（机器人）
10. 戒烟
11. 白驹过隙
12. 来日方长
13. 少女公敌夜十次
14. 叶炜
15. 刘哥
16. 叶炜

model.generate() test_f : 6-这游戏也太真实了.txt

content_length : 22402根据您提供的小说内容，以下是出现的人物名字：1. 叶炜
2. 少女公敌夜十次（昵称夜十）
3. 光
4. 八级大狂风（管理员）
5. 来日方长（管理员）
6. 白驹过隙（群主）
7. 戒烟
8. 楚光
9. 小柒（机器人）
10. 老沃特
11. 查理
12. 余小鱼
13. 白驹过隙（昵称老白）
14. 八级大狂风（昵称狂风）
15. 来日方长（昵称方长）
16. 少女公敌夜十次（昵称夜十）
17. 曙光（楚光在游戏中的代号）以上是小说中出现的主要人物名字。

model.generate() test_f : 9-这游戏也太真实了.txt

content_length : 31771根据您提供的小说内容，以下是出现的人物名字：1. 叶炜
2. 少女公敌夜十次（昵称夜十）
3. 光
4. 八级大狂风（管理员）
5. 来日方长（管理员）
6. 白驹过隙（群主）
7. 戒烟
8. 楚光
9. 小柒（机器人）
10. 老沃特
11. 查理
12. 余小鱼
13. 白驹过隙（昵称老白）
14. 八级大狂风（昵称狂风）
15. 来日方长（昵称方长）
16. 少女公敌夜十次（昵称夜十）以上是小说中出现的人物名字。

model.generate() test_f : 20-这游戏也太真实了.txt

content_length : 75829根据您提供的小说内容，以下是出现的人物名字：1. 叶炜
2. 楚光
3. 小柒
4. 白驹过隙
5. 八级大狂风
6. 来日方长
7. 少女公敌夜十次
8. 戒烟
9. 光
10. 沃特
11. 查理
12. 余小鱼
13. 余虎
14. 王德福
15. 李斯特
16. 老白
17. 方长
18. 狂风
19. 夜十
20. 汪海洋
21. 岩风
22. WC真有蚊子以上是小说中出现的主要人物名字，可能还有其他一些次要人物，但根据您提供的文本内容，以上人物名字是主要的。

vllm test_f : 3-这游戏也太真实了.txt

content_length : 111131. 叶炜
2. 小柒
3. 楚光
4. 光
5. 白驹过隙
6. 八级大狂风
7. 来日方长
8. 少女公敌夜十次
9. 戒烟

vllm test_f :6-这游戏也太真实了.txt

content_length : 224021. 叶炜
2. 夜十次
3. 光
4. 八级大狂风
5. 来日方长
6. 白驹过隙
7. 戒烟
8. 楚光
9. 小七
10. 老沃特
11. 查理
12. 余小鱼

vllm test_f : 9-这游戏也太真实了.txt

content_length : 31771在第一章、第二章和第五章中，出现了以下人物名字：1. 叶炜
2. 光在第三章中，出现了以下人物名字：1. 楚光
2. 小柒 (别名废纸篓)
3. 老沃特
4. 查理在第四章中，出现了以下人物名字：1. 余小鱼在第五章中，出现了以下人物名字：1. 查理
2. 小鸟在第七章中，出现了以下人物名字：1. 狂风
2. 方长
3. 夜十在第八章中，出现了以下人物名字：1. 狂风
2. 方长
3. 夜十在第九章中，出现了以下人物名字：1. 楚光
2. 小柒
3. 方长以上是所有出现的名字。

vllm test_f : 9-这游戏也太真实了.txt

content_length : 75829根据您提供的文本，以下列出小说中出现过的所有人物名字：1. **叶炜**：学生，因一场意外被送到平行世界的废土世界，并成为了避难所的管理者。2. **楚光**：原本是地球上的一个普通大学生，因为一场意外穿越到了废土世界，成为了避难所的管理者和最终的游戏策划。 3. **小柒**：一个废纸篓型的机器人，楚光的助手，可以隐藏、移动，还能接收任务。4. **女公敌夜十次**：游戏的玩家，叶炜在现实世界中的朋友。5. **光**：叶炜在群里的昵称，是楚光的同班同学，也是穿越到废土世界的人。6. **八级大狂风**：游戏的玩家，叶炜在群里的朋友，也是楚光的同班同学。7. **来日方长**：游戏的玩家，叶炜在群里的朋友，同时也是楚光的同班同学。8. **白驹过隙**：叶炜在群里的朋友，同时也是群主。9. **戒烟**：叶炜在群里的朋友。10. **老沃特**：贝特街的幸存者，从事猎杀变异生物的工作。11. **查理**：贝特街的废品回收站老板。12. **余小鱼**：余家的女儿。13. **王德福**：王家的儿子。14. **余家三儿子**：余虎，是余小鱼的哥哥。15. **李斯特**：巨石城的商队队长。16. **WC真有蚊子**：加入游戏的玩家，对木头有深入了解。17. **夜十/叶十**：游戏中的玩家，是感知系的，基因序列的开发进度一开始是0，但通过砍树逐渐提升。18. **老白**：游戏中的玩家，被任命为建筑队长，是力量系的。19. **方长**：游戏中的玩家，是智力系的，主动实现水泥制造，幸福度提升。20. **狂风**：游戏中的玩家，是力量系的。**请注意**:以上列表并不包括全文中出现过的所有配角，只列出了主要的角色。

vllm test_f : 50-这游戏也太真实了.txt

content_length : 1796761. 叶炜（少女公敌夜十次）
2. 来日方长（管理员，群主）
3. 刘正月（幸存者首领）
4. 王德福（王家三子）
5. 余小鱼（王家女儿）
6. 陈扬（艾兵）
7. 夏盐（佣兵，后成为武器商人）

vllm test_f : 100-这游戏也太真实了.txt

content_length : 455731根据小说内容，以下是小说中出现的人物名字：1. 叶炜：主角，少女公敌夜十次的网友。
2. 楚光：男主角，404号避难所的管理者和管理者系统的使用者。
3. 少女公敌夜十次：游戏群成员，昵称夜十，游戏群的博士，后成为查理的助理。
4. 八级大狂风：游戏群成员。
5. 来日方长：游戏群成员，后成为群主和创始人。
6. 戒烟：游戏群成员。
7. 白驹过隙：游戏群成员，后成为群主。
8. 楚光、小鱼：余小鱼是拾荒者余家的女儿，向男主角楚光提供食物，并希望他成为余家女婿。
9. 张三：某机构工作人员。
10. 陈扬：夏盐的小队队友，被夜十和方长在北门附近抓捕，后来被 squirtfired 。
11. 刘正月：布朗农庄的居民，后成为商队领袖。
12. 余虎、余熊：余家兄弟，和楚光有不错的交情。
13. 夏盐：巨石城佣兵，后被楚光救下。
14. 海恩：红河镇商人，后被楚光接纳为避难所的商人伙伴。
15. 伦娜：海恩的保镖，后成为避难所的佣兵。
16. 温：海恩的保镖，后成为避难所的佣兵。
17. 西红柿炒蛋：玩家。以上就是小说中出现的主要人物名字。