用LSTM模型做imdb电影评论情感分析

2023-10-20 01:50

本文主要是介绍用LSTM模型做imdb电影评论情感分析,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

imdb数据集介绍

IMDB影评数据集中含有来自IMDB的25,000条影评,被标记为正面/负面两种评价。影评已被预处理为词下标构成的序列。方便起见,单词的下标基于它在数据集中出现的频率标定,例如整数3所编码的词为数据集中第3常出现的词。这样的组织方法使得用户可以快速完成诸如“只考虑最常出现的10,000个词,但不考虑最常出现的20个词”这样的操作
按照惯例,0不代表任何特定的词,而用来编码任何未知单词

keras中内置了imdb数据集,我们直接导入即可(由于已经下载了,这里指定path)。

由于博主之前已经有一篇文章已经对数据进行了分析,这里就不过多赘述了,感兴趣的朋友可以移步用一维卷积模型做imdb电影评论情感分析

导入数据

from keras.datasets import imdb
#只考虑出现频率最高的10000个单词,其余低频率单词会被编码为0
max_word = 10000
(train_x, train_y), (test_x, test_y) = imdb.load_data(num_words=max_word,path='/root/.keras/datasets/imdb.npz')

处理数据

from keras.preprocessing.sequence import pad_sequences
maxlen = 500
train_x =  pad_sequences(train_x,maxlen=maxlen)
test_x =  pad_sequences(test_x,maxlen=maxlen)

用keras中的pad_sequences方法对数据进行填充或切割,使数据序列长度的恒为500,长度不足的填充0,长度大于500的被截断。

定义回调函数

keras会在每一轮训练后调用回调函数

from keras.callbacks import EarlyStopping,ModelCheckpoint
callbacks_list = [EarlyStopping(monitor = 'val_accuracy', #监控验证精度patience = 3, #如果验证精度多于三轮不改善则中断训练),#在训练的过程中不断得保存最优的模型ModelCheckpoint(filepath = 'my_model_lstm.h5', #模型保存路径monitor = 'val_accuracy', #监控验证精度save_best_only = True, #如果val_accuracy没有改善则不需要覆盖模型)
]

LSTM层

长短期记忆网络(LSTM)是一种时间循环神经网络,是RNN的一个优秀的变种模型,它继承了大部分RNN模型的特性,同时解决了梯度反向传播过程中产生的梯度消失问题。它非常适合于长时间序列的特征,能分析输入信息之间的整体逻辑序列。
下面我们通过一个例子来熟悉LSTM
定义模型

from keras import Sequential
from keras.layers import LSTM
model_test = Sequential()
model_test.add(LSTM(5,input_shape=(4,3)))
model_test.compile(loss='mse',optimizer='sgd')

查看模型结构

model_test.summary()

在这里插入图片描述
我们定义了5个LSTM节点,它接受一个形状为(4,3)的输入,输出形状为(None,5)。
通过模型的输出

data = np.random.random((1,4,3))
print(data)
print("==========================")
print(model_test.predict(data))

输出为

[[[0.79716507 0.34357063 0.90199362][0.81896706 0.36259831 0.83346227][0.92933103 0.50251658 0.90276097][0.42825427 0.91050999 0.05773106]]]
==========================
[[ 0.04960854 -0.09560797  0.06205023 -0.23291263 -0.21847163]]

每个节点都会从时序的角度来提取特征,获得一个输出结果。


接下来定义我们训练imdb电影评论的模型

定义模型

from keras import layers
from keras.losses import BinaryCrossentropy
from keras.models import Sequential
model = Sequential([layers.Embedding(max_word,32),layers.LSTM(32),layers.Dense(1,activation="sigmoid")
])
model.compile(optimizer="rmsprop",loss=BinaryCrossentropy(),metrics=["accuracy"])

训练模型

history = model.fit(train_x,train_y,epochs=10,batch_size = 128,validation_data=(test_x, test_y),callbacks=callbacks_list)

训练结果如下

Train on 25000 samples, validate on 25000 samples
Epoch 1/10
25000/25000 [==============================] - 135s 5ms/step - loss: 0.4738 - accuracy: 0.7788 - val_loss: 0.3055 - val_accuracy: 0.8770
Epoch 2/10
25000/25000 [==============================] - 129s 5ms/step - loss: 0.2779 - accuracy: 0.8928 - val_loss: 0.2790 - val_accuracy: 0.8867
Epoch 3/10
25000/25000 [==============================] - 134s 5ms/step - loss: 0.2286 - accuracy: 0.9123 - val_loss: 0.3296 - val_accuracy: 0.8721
Epoch 4/10
25000/25000 [==============================] - 129s 5ms/step - loss: 0.2028 - accuracy: 0.9246 - val_loss: 0.3176 - val_accuracy: 0.8810
Epoch 5/10
25000/25000 [==============================] - 129s 5ms/step - loss: 0.1777 - accuracy: 0.9356 - val_loss: 0.3551 - val_accuracy: 0.8551

可以看到在第五轮训练完成后训练就提前结束了,因为三轮验证精度都没有改善,同时训练过程中最好的模型已经被保存了,验证精度最高为0.8867。

LSTM通常用于时序较长的特征数据,常用于机器翻译,对话生成,编码,解码等。今天分享的内容就到这里了,希望能够对大家有所帮助。
PS:过两天会分享一篇文章来分析比较LSTM模型和一维卷积模型的特点。

这篇关于用LSTM模型做imdb电影评论情感分析的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:https://blog.csdn.net/weixin_42494845/article/details/106026758
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/243813

相关文章

Olingo分析和实践之EDM 辅助序列化器详解(最佳实践)

《Olingo分析和实践之EDM辅助序列化器详解(最佳实践)》EDM辅助序列化器是ApacheOlingoOData框架中无需完整EDM模型的智能序列化工具,通过运行时类型推断实现灵活数据转换,适用... 目录概念与定义什么是 EDM 辅助序列化器?核心概念设计目标核心特点1. EDM 信息可选2. 智能类

Olingo分析和实践之OData框架核心组件初始化(关键步骤)

《Olingo分析和实践之OData框架核心组件初始化(关键步骤)》ODataSpringBootService通过初始化OData实例和服务元数据,构建框架核心能力与数据模型结构,实现序列化、URI... 目录概述第一步:OData实例创建1.1 OData.newInstance() 详细分析1.1.1

Olingo分析和实践之ODataImpl详细分析(重要方法详解)

《Olingo分析和实践之ODataImpl详细分析(重要方法详解)》ODataImpl.java是ApacheOlingoOData框架的核心工厂类,负责创建序列化器、反序列化器和处理器等组件,... 目录概述主要职责类结构与继承关系核心功能分析1. 序列化器管理2. 反序列化器管理3. 处理器管理重要方

SpringBoot中六种批量更新Mysql的方式效率对比分析

《SpringBoot中六种批量更新Mysql的方式效率对比分析》文章比较了MySQL大数据量批量更新的多种方法,指出REPLACEINTO和ONDUPLICATEKEY效率最高但存在数据风险,MyB... 目录效率比较测试结构数据库初始化测试数据批量修改方案第一种 for第二种 case when第三种

解决1093 - You can‘t specify target table报错问题及原因分析

《解决1093-Youcan‘tspecifytargettable报错问题及原因分析》MySQL1093错误因UPDATE/DELETE语句的FROM子句直接引用目标表或嵌套子查询导致,... 目录报js错原因分析具体原因解决办法方法一:使用临时表方法二:使用JOIN方法三:使用EXISTS示例总结报错原

MySQL中的LENGTH()函数用法详解与实例分析

《MySQL中的LENGTH()函数用法详解与实例分析》MySQLLENGTH()函数用于计算字符串的字节长度,区别于CHAR_LENGTH()的字符长度,适用于多字节字符集(如UTF-8)的数据验证... 目录1. LENGTH()函数的基本语法2. LENGTH()函数的返回值2.1 示例1:计算字符串

Android kotlin中 Channel 和 Flow 的区别和选择使用场景分析

《Androidkotlin中Channel和Flow的区别和选择使用场景分析》Kotlin协程中,Flow是冷数据流,按需触发,适合响应式数据处理;Channel是热数据流,持续发送,支持... 目录一、基本概念界定FlowChannel二、核心特性对比数据生产触发条件生产与消费的关系背压处理机制生命周期

怎样通过分析GC日志来定位Java进程的内存问题

《怎样通过分析GC日志来定位Java进程的内存问题》:本文主要介绍怎样通过分析GC日志来定位Java进程的内存问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、GC 日志基础配置1. 启用详细 GC 日志2. 不同收集器的日志格式二、关键指标与分析维度1.

MySQL中的表连接原理分析

《MySQL中的表连接原理分析》:本文主要介绍MySQL中的表连接原理分析,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、背景2、环境3、表连接原理【1】驱动表和被驱动表【2】内连接【3】外连接【4编程】嵌套循环连接【5】join buffer4、总结1、背景

python中Hash使用场景分析

《python中Hash使用场景分析》Python的hash()函数用于获取对象哈希值,常用于字典和集合,不可变类型可哈希,可变类型不可,常见算法包括除法、乘法、平方取中和随机数哈希,各有优缺点,需根... 目录python中的 Hash除法哈希算法乘法哈希算法平方取中法随机数哈希算法小结在Python中,