rnn-人名案例实现

2024-06-21 08:04
文章标签 实现 案例 rnn 人名

本文主要是介绍rnn-人名案例实现，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

模型训练实现:

coding: utf-8

导入torch工具

import json

import torch

导入nn准备构建模型

import torch.nn as nn
import torch.nn.functional as F
import torch.optim as optim

导入torch的数据源 数据迭代器工具包

from torch.utils.data import Dataset, DataLoader

用于获得常见字母及字符规范化

import string

导入时间工具包

import time

引入制图工具包

import matplotlib.pyplot as plt

从io中导入文件打开方法

from io import open

from tqdm import tqdm

1.获取常用的字符和标点

all_letters = string.ascii_letters + " .,;'"

print(f’all_letters–>{all_letters}')

n_letter = len(all_letters)
print(f’all_letters长度–>{len(all_letters)}‘)
print(’*'*80)

2.获取国家类别总数

国家名 种类数

categorys = [‘Italian’, ‘English’, ‘Arabic’, ‘Spanish’, ‘Scottish’, ‘Irish’, ‘Chinese’, ‘Vietnamese’, ‘Japanese’,
‘French’, ‘Greek’, ‘Dutch’, ‘Korean’, ‘Polish’, ‘Portuguese’, ‘Russian’, ‘Czech’, ‘German’]

国家名 个数

categorynum = len(categorys)
print(‘categorys—>’, categorys)
print(‘*’*80)

categorys = [‘Italian’, ‘English’, ‘Arabic’, ‘Spanish’, ‘Scottish’, ‘Irish’, ‘Chinese’, ‘Vietnamese’, ‘Japanese’,
‘French’, ‘Greek’, ‘Dutch’, ‘Korean’, ‘Polish’, ‘Portuguese’, ‘Russian’, ‘Czech’, ‘German’]

国家名 个数

categorynum = len(categorys)
print(‘categorys—>’, categorys)
print(‘*’*80)

def read_data(filename):
# 1. 初始化两个空列表
my_list_x, my_list_y = [], []
# 2. 读取文件内容
with open(filename,‘r’, encoding=‘utf-8’) as fr:
for line in fr.readlines():
if len(line) <= 5:
continue
# strip()方法默认将字符串首尾两端的空白去掉
x, y = line.strip().split(‘\t’)
my_list_x.append(x)
my_list_y.append(y)

return my_list_x, my_list_y

todo 构建数据源

class NameClassDataset(Dataset):
def init(self, mylist_x, mylist_y):
self.mylist_x = mylist_x
self.mylist_y = mylist_y
self.sample_len = len(mylist_x)

def __len__(self):return self.sample_lendef __getitem__(self, index):# todo 异常值处理  max(x,y) 取x,y较大的值,若小于0则取0# todo  min(x,y) 取最小的值 保证索引不超出界限index = min(max(index, 0), self.sample_len - 1)x = self.mylist_x[index]y = self.mylist_y[index]# todo one-hot处理 0,1  创建全0张量 特征置为一 就实现了one-hot编码tensor_x=torch.zeros(len(x),n_letter)# li 索引  letter 值for li,letter in enumerate(x):# todo 将得到第li行数第find列置为1tensor_x[li][all_letters.find(letter)]=1# 返回值的索引 置为张量tensor_y=torch.tensor(categorys.index(y),dtype=torch.long)return tensor_x,tensor_y

def get_dataloader():
# todo 核心思想: 处理脏数据 封装数据处理方法 将数据打乱分批次
filename = ‘…/data/name_classfication.txt’
my_list_x, my_list_y = read_data(filename)
mydataset = NameClassDataset(mylist_x=my_list_x, mylist_y=my_list_y)
my_dataloader = DataLoader(dataset=mydataset, batch_size=1, shuffle=True)
return my_dataloader

class MyRNN(nn.Module):
def init(self, input_size, hidden_size, ouput_size, num_layers=1):
# 调用nn方法
super().init()
# todo 输入 长度不一致的数据:文本 时间序列数据 长度一致:语音 图像
# todo 再这里输入前需要对数据处理保证长度一致 方法:填充 截断
self.input_size = input_size
# todo 长度固定 8 62 128 256
self.hidden_size = hidden_size
# todo 长度等于要预测的种类数量
self.ouput_size = ouput_size
self.num_layers = num_layers

    # rnn网络层 todo 昨天区别参数顺序不一致 因为batch_first=trueself.rnn = nn.RNN(self.input_size, self.hidden_size,num_layers=self.num_layers, batch_first=True)# 输出层self.linear = nn.Linear(self.hidden_size, self.ouput_size)# softmax层# todo Softmax 函数会将输入转换为概率分布，然后再通过 CrossEntropyLoss 计算交叉熵损失。# todo LogSoftmax 先将输入转换为对数概率分布，然后与 NLLLoss 结合计算损失。# todo 选型 回归:mse mae  分类  Softmax LogSoftmax# todo 选型: LogSoftmax + NLLLoss  计算快多分类# todo 选型: Softmax + CrossEntropyLoss  默认多分类 不稳定# todo dim=-1 最后一个维度self.softmax = nn.LogSoftmax(dim=-1)def forward(self,input,hidden):rnn_output, rnn_hn = self.rnn(input, hidden)# todo 保持维度一致  如果这里维度不统一后续计算会出错tmep = rnn_output[0][-1].unsqueeze(0)output = self.linear(tmep)return self.softmax(output), rnn_hn# 初始化隐藏值 第一个时间步需要
def inithidden(self):return torch.zeros(self.num_layers, 1, self.hidden_size)

todo 测试 方法: 模型置为评估 单个数据输送 全部数据输送 指标评估

def test_RNN():
# todo 核心思想加载数据 置为需要的张量形状 调用模型 查看模型输出结果
# 1.得到数据
my_dataloader = get_dataloader()
# 2.实例化模型
input_size = n_letter # 57
hidden_size = 128 # 自定设定RNN模型输出结果维度
output_size = len(categorys) # 18
my_rnn = MyRNN(input_size, hidden_size, output_size)
h0 = my_rnn.inithidden()
for i, (x, y) in enumerate(my_dataloader):
print(f’x—>{x.shape}‘)
output, hn = my_rnn(input=x, hidden=h0)
print(f’output模型输出结果–>{output.shape}’)
print(f’hn–>{hn.shape}')
break

epochs = 1
my_lr = 1e-3

todo 模型训练

def train_RNN():
# todo 核心思想: 加载数据集 置换维度形状 调用模型
my_list_x, my_list_y = read_data(filename=‘…/data/name_classfication.txt’)
# 实例化自己定义的Dataset
myDataset = NameClassDataset(mylist_x=my_list_x, mylist_y=my_list_y)
# 实例化自己的Dataloader
my_dataloader = DataLoader(dataset=myDataset, batch_size=1, shuffle=True)

input_size = 57
hidden_size = 128
ouput_size = 18
my_rnn = MyRNN(input_size, hidden_size, ouput_size)
# todo forward定义了损失函数的话这里为什么还需要定义? 因为这是整个训练过程 函数内是单个的不是全局
#todo  --------- 损失函数和优化器可以互换置
my_crossentropy=nn.NLLLoss()
my_optimizer=optim.Adam(my_rnn.parameters(),lr=my_lr)
#todo  ---------
start_time = time.time() # 开始的时间
total_iter_num = 0 # 已经训练好的样本数
total_loss = 0 # 已经训练的总损失
total_loss_list = [] # 每隔100步存储一下平均损失
total_acc_num = 0 # 已经训练的样本数预测正确的样本
total_acc_list = [] # 每隔100步存储一下平均准确率#训练#批次
for epoch_idx in range(epochs):# 批次样本数量for i, (x, y) in enumerate(tqdm(my_dataloader)):# todo 这里为什么要再次初始化???模型内部已经实现了# todo 答: 在 PyTorch 中，每个批次数据的计算图（Computational Graph）会被动态构建。#  在每次向后传播（backward）之前，计算图会被清空以释放显存，并且隐藏状态等变量也会被重置h0=my_rnn.inithidden()output,hn=my_rnn(input=x,hidden=h0)# todo 注意: 以下顺序不能变 否则精度不准确# 预测值和真实值做计算my_loss = my_crossentropy(output, y)# 优化器梯度清零my_optimizer.zero_grad()# 损失函数反向传播my_loss.backward()# 优化器更新参数my_optimizer.step()total_iter_num += 1 # 计数total_loss += my_loss.item() # 累计损失值# todo 模型预测的类别与真实值对比 对为1item1 = 1 if torch.argmax(output, dim=-1).item() == y.item() else 0total_acc_num += item1 # 累计正确样本的个数# 每隔100步存储一下平均损失和准确率if total_iter_num % 100 == 0:# 保存平均损失loss_avg = total_loss / total_iter_numtotal_loss_list.append(loss_avg)# 保存平均准确率acc_avg = total_acc_num / total_iter_numtotal_acc_list.append(acc_avg)if total_iter_num % 2000 == 0:loss_avg = total_loss / total_iter_numacc_avg = total_acc_num / total_iter_numend_time = time.time()use_time = end_time-start_timeprint("当前训练的批次: %d,平均损失: %.5f, 训练时间: %.3f, 准确率: %.2f"%(epoch_idx+1,loss_avg,use_time,acc_avg))# todo 模型保存作用: 复用和部署#todo 模型结构: 输入层 隐藏层 输出层# todo 模型参数: 权重偏执#todo my_rnn.state_dict() 只保存模型参数 不保存模型结构# 加载方法:# model = MyRNN(input_size=10, hidden_size=128, output_size=5)# model.load_state_dict(torch.load('./my_rnn_state_dict.pth'))#todo torch.save() 保存结构和参数# todo model = torch.load('../model/my_rnn_model.pth')torch.save(my_rnn.state_dict(),'../model/my_rnn.bin')all_time = time.time() - start_time
return total_loss_list, all_time, total_acc_list

def save_rnn_results():
# 1. 训练模型得到需要的结果
total_loss_list, all_time, total_acc_list = train_RNN() # 假设train_my_rnn是另一个函数，用于训练RNN模型并返回损失列表、总时间消耗和准确率列表

# 2. 定义一个字典
dict1 = {"loss": total_loss_list,  # 字典中包含损失列表"time": all_time,         # 字典中包含总时间消耗"acc": total_acc_list}    # 字典中包含准确率列表# 3. 保存到一个json格式的文件
with open("../rnn_result.json", "w") as fw:  # 打开一个名为"rnn_result.json"的文件，用于写入fw.write(json.dumps(dict1))  # 使用json.dumps将字典dict1转换为JSON格式的字符串，并写入文件

读取json文件内容

def read_json():
with open(“…/rnn_result.json”, “r”) as fr: # 打开一个名为"rnn_result.json"的文件，用于读取
results = json.load(fr) # 使用json.load将JSON格式的字符串转换回字典
return results # 返回读取到的字典

if name == ‘main’:
test_RNN()
train_RNN()
save_rnn_results()
read_json()

模型预测:

coding: utf-8

导入torch工具

import json

import torch

导入nn准备构建模型

import torch.nn as nn
import torch.nn.functional as F
import torch.optim as optim

导入torch的数据源 数据迭代器工具包

from torch.utils.data import Dataset, DataLoader

用于获得常见字母及字符规范化

import string

导入时间工具包

import time

引入制图工具包

import matplotlib.pyplot as plt

从io中导入文件打开方法

from io import open

from tqdm import tqdm

from nlp_self.day03.rnn.example_rnn_train import read_json, MyRNN
import os
os.environ[‘KMP_DUPLICATE_LIB_OK’]=‘True’

all_letters = string.ascii_letters + " .,;'"

print(f’all_letters–>{all_letters}')

n_letter = len(all_letters)
print(f’all_letters长度–>{len(all_letters)}‘)
print(’*'*80)

2.获取国家类别总数

国家名 种类数

categorys = [‘Italian’, ‘English’, ‘Arabic’, ‘Spanish’, ‘Scottish’, ‘Irish’, ‘Chinese’, ‘Vietnamese’, ‘Japanese’,
‘French’, ‘Greek’, ‘Dutch’, ‘Korean’, ‘Polish’, ‘Portuguese’, ‘Russian’, ‘Czech’, ‘German’]

国家名 个数

categorynum = len(categorys)
print(‘categorys—>’, categorys)

画图

def plt_RNN():
#加载模型参数
rnn_results=read_json()
# todo 根据key获取
total_loss_list_rnn, all_time_rnn, total_acc_list_rnn =rnn_results[‘loss’],rnn_results[‘time’],rnn_results[‘acc’]
# 损失对比
plt.figure(0)
plt.plot(total_loss_list_rnn,label=‘RNN’)
plt.legend(loc=“upper left”)
# todo 保存图片
plt.savefig(‘…/pictures/loss.png’)
plt.show()

构建模型入参

def line2tensor(x):
#todo 核心思想: 模型不能识别文字需要转码 常用词嵌入 onehot
# todo 选型: 字符就用one-hot 单词就用词嵌入

tensor_x=torch.zeros(len(x),n_letter)
for li,letter in enumerate(x):# todo  找到的张量置为1 实现one-hot编码tensor_x[li][all_letters.find(letter)]=1
return tensor_x

todo 模型预测

def rnn_predict(x):
# todo 模型预测和训练区别: 数据不一致:训练要标签数据 预测不需要 训练要反向传播 预测不需要
# todo 方法: 单步 多步 递归预测(模型使用已有的预测结果作为下一个时间步的输入，依次递归预测整个序列)
# todo : 核心思想: 传数据 调用模型
# todo 调用模型属于推理过程 要使用上下文管理器 (它可以临时地关闭 PyTorch 中的梯度计算。在这个上下文中的所有操作，都不会被记录在计算图中，也不会影响梯度的计算)
# todo 开始预测过程: 1.上下文管理器 2参数初始化(因为每次调用pytorch会清空隐藏状态) 3. 取出预测结果
tensor_x=line2tensor(x)
my_rnn = MyRNN(input_size=57, hidden_size=128, ouput_size=18)
my_rnn.load_state_dict(torch.load(‘…/model/my_rnn.bin’))
# # todo 上下文管理器 关闭梯度计算 推理过程关闭
with torch.no_grad():
# todo 升维 保持现状一致
input0=tensor_x.unsqueeze(0)
h0=my_rnn.inithidden()
output, hn = my_rnn(input0, h0)

    # todo 取出预测最大值topv,topi=output.topk(3,1,True)for i in range(3):value = topv[0][i]index = topi[0][i]category = categorys[index]print('RNN模型预测的结果：%.2f, 国家类别是%s'% (value, category))

if name == ‘main’:
#plt_RNN()
rnn_predict(‘Wang’)

这篇关于rnn-人名案例实现的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1080655。

相关文章

PostgreSQL的扩展dict_int应用案例解析

PostgreSQL的扩展dict_int应用案例解析

《PostgreSQL的扩展dict_int应用案例解析》dict_int扩展为PostgreSQL提供了专业的整数文本处理能力,特别适合需要精确处理数字内容的搜索场景,本文给大家介绍PostgreS... 目录PostgreSQL的扩展dict_int一、扩展概述二、核心功能三、安装与启用四、字典配置方法
阅读更多...
SpringBoot中SM2公钥加密、私钥解密的实现示例详解

SpringBoot中SM2公钥加密、私钥解密的实现示例详解

《SpringBoot中SM2公钥加密、私钥解密的实现示例详解》本文介绍了如何在SpringBoot项目中实现SM2公钥加密和私钥解密的功能,通过使用Hutool库和BouncyCastle依赖,简化... 目录一、前言1、加密信息(示例)2、加密结果(示例)二、实现代码1、yml文件配置2、创建SM2工具
阅读更多...
Mysql实现范围分区表(新增、删除、重组、查看)

Mysql实现范围分区表(新增、删除、重组、查看)

《Mysql实现范围分区表(新增、删除、重组、查看)》MySQL分区表的四种类型（范围、哈希、列表、键值）,主要介绍了范围分区的创建、查询、添加、删除及重组织操作,具有一定的参考价值,感兴趣的可以了解... 目录一、mysql分区表分类二、范围分区（Range Partitioning1、新建分区表：2、分
阅读更多...
MySQL 定时新增分区的实现示例

MySQL 定时新增分区的实现示例

《MySQL定时新增分区的实现示例》本文主要介绍了通过存储过程和定时任务实现MySQL分区的自动创建,解决大数据量下手动维护的繁琐问题,具有一定的参考价值,感兴趣的可以了解一下... mysql创建好分区之后，有时候会需要自动创建分区。比如，一些表数据量非常大，有些数据是热点数据，按照日期分区MululbU
阅读更多...
MySQL中查找重复值的实现

MySQL中查找重复值的实现

《MySQL中查找重复值的实现》查找重复值是一项常见需求,比如在数据清理、数据分析、数据质量检查等场景下,我们常常需要找出表中某列或多列的重复值,具有一定的参考价值,感兴趣的可以了解一下... 目录技术背景实现步骤方法一：使用GROUP BY和HAVING子句方法二：仅返回重复值方法三：返回完整记录方法四：
阅读更多...
IDEA中新建/切换Git分支的实现步骤

IDEA中新建/切换Git分支的实现步骤

《IDEA中新建/切换Git分支的实现步骤》本文主要介绍了IDEA中新建/切换Git分支的实现步骤,通过菜单创建新分支并选择是否切换,创建后在Git详情或右键Checkout中切换分支,感兴趣的可以了... 前提：项目已被Git托管1、点击上方栏Git->NewBrancjsh...2、输入新的分支的
阅读更多...
Python实现对阿里云OSS对象存储的操作详解

Python实现对阿里云OSS对象存储的操作详解

《Python实现对阿里云OSS对象存储的操作详解》这篇文章主要为大家详细介绍了Python实现对阿里云OSS对象存储的操作相关知识,包括连接,上传,下载,列举等功能,感兴趣的小伙伴可以了解下... 目录一、直接使用代码二、详细使用1. 环境准备2. 初始化配置3. bucket配置创建4. 文件上传到os
阅读更多...
关于集合与数组转换实现方法

关于集合与数组转换实现方法

《关于集合与数组转换实现方法》：本文主要介绍关于集合与数组转换实现方法,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、Arrays.asList()1.1、方法作用1.2、内部实现1.3、修改元素的影响1.4、注意事项2、list.toArray()2.1、方
阅读更多...
使用Python实现可恢复式多线程下载器

使用Python实现可恢复式多线程下载器

《使用Python实现可恢复式多线程下载器》在数字时代,大文件下载已成为日常操作,本文将手把手教你用Python打造专业级下载器,实现断点续传,多线程加速,速度限制等功能,感兴趣的小伙伴可以了解下... 目录一、智能续传：从崩溃边缘抢救进度二、多线程加速：榨干网络带宽三、速度控制：做网络的好邻居四、终端交互
阅读更多...
Python中re模块结合正则表达式的实际应用案例

Python中re模块结合正则表达式的实际应用案例

《Python中re模块结合正则表达式的实际应用案例》Python中的re模块是用于处理正则表达式的强大工具,正则表达式是一种用来匹配字符串的模式,它可以在文本中搜索和匹配特定的字符串模式,这篇文章主... 目录前言re模块常用函数一、查看文本中是否包含 A 或 B 字符串二、替换多个关键词为统一格式三、提
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2