使用CNN进行情感分析(Sentiment Analysis)

2024-05-26 08:48

本文主要是介绍使用CNN进行情感分析(Sentiment Analysis),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一、情感分析

情感分析是自然语言处理中很常见的任务,它的目的是识别出一段文本潜在的情感,是表扬还是批评,是支持还是反对。比如我们可以使用情感分析去分析社媒的评论,从而得到网友对某件事的看法,进一步分析可以得到舆论的趋势。大家都知道特朗普非常喜欢发Twitter,我们可以对推友们评论进行分析,看看他们是在骂特朗普还是在支持特朗普,然后把所有的评论汇总起来就能得到一个大概的特朗普是否能够连任的趋势了。总之情感分析的本质是一个文本分类的任务,在这里我们实现了一个CNN网络对IMDB数据集进行情感分析。完整代码

二、IMDB数据集

Large Moive Review Dataset通常指的就是IMDB数据集,这是由斯坦福的研究者收集自网站IMDB。这个数据集其实就是一些对电影的评论,一共包含两类,积极的评论(positive)和消极的评论(negative)。其中训练集和测试集各有25000条数据。

三、CNN情感分析

深度学习在NLP任务中有很广泛的作用,那怎样将CNN应用于情感分析呢?因为情感分析本质就是一个文本分类的任务,在这里我们使用一个经典的用于文本分类的CNN架构,如下图所示,首先使用一维卷积,所谓一维卷积就是尺寸为window size * embedding dimension的卷积。window size其实就是词的数量,如果window size等于2就是图中红色的filter,每次选取两个词。window size等于3的话就是图中黄色的部分,每次选取三个词。这样卷积的意义就是每次都能获取到一个n-gram特征,这与我们的直觉也是类似的。卷积之后再使用max-1-pooling,也就是选择这句话中最显著的词或词组作为下一层的结果。然后将这些关键词组合起来输入全连接层就可以得到分类结果了。更详细的CNN解释可以看这篇博客。CNN文本分类详解

下面介绍下如何使用Keras实现这个逻辑,首先载入IMDB数据集,选取词频最高的5000个词作为输入,其他的词都是0。然后再把句子的单词长度固定为500。

# load the dataset but only keep the top n words, zero the rest
top_words = 5000
(x_train, y_train), (x_test, y_test) = imdb.load_data(num_words=top_words)
# pad dataset to a maximum review length in words
max_words = 500
x_train = sequence.pad_sequences(x_train, maxlen=max_words)
x_test = sequence.pad_sequences(x_test, maxlen=max_words)

 接下里创建conv1D + max-pooling的CNN模型。首先初始化一个embedding,为所有词随机一个词向量(这里也可以使用预训练的词向量,效果会更好)。然后使用Conv1D进行卷积,其中kernel_size这个参数就是我们前面所说的window size, 这里我们让它等于3,也就是每次取3个词,得到的是tri-gram特征。然后GlobalMaxPooling进行池化,最后使用全连接层得到一个值。这个值就代表属于哪一类的分数。优化的时候使用Adam优化器。

sentence = Input(batch_shape=(None, max_words), dtype='int32', name='sentence')
embedding_layer = Embedding(top_words, embedding_dims, input_length=max_words)
sent_embed = embedding_layer(sentence)
conv_layer = Conv1D(filters, kernel_size, padding='valid', activation='relu')
sent_conv = conv_layer(sent_embed)
sent_pooling = GlobalMaxPooling1D()(sent_conv)
sent_repre = Dense(250)(sent_pooling)
sent_repre = Activation('relu')(sent_repre)
sent_repre = Dense(1)(sent_repre)
pred = Activation('sigmoid')(sent_repre)
model = Model(inputs=sentence, outputs=pred)
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])

最后训练模型

# fit the model
model.fit(x_train, y_train, batch_size=batch_size, epochs=epochs, verbose=1,validation_data=(x_test, y_test))

最终模型在测试集上的准确率为88.64% 。完整代码

25000/25000 [==============================] - 25s 1ms/step - loss: 0.3455 - acc: 0.8420 - val_loss: 0.2775 - val_acc: 0.8815
Epoch 2/2
25000/25000 [==============================] - 24s 973us/step - loss: 0.1603 - acc: 0.9390 - val_loss: 0.2871 - val_acc: 0.8864
Accuracy: 88.64%

四、使用多窗口的CNN

前面我们使用的是windows size等于3的卷积,也就是每次取三个词,得到tri-gram特征。那要是觉得只用tri-gram还不够丰富,还想加入bi-gram或者更多类型的n-gram怎么办?那只要把Conv-1D这里改下就好了,代码如下。使用一个循环,假设kernel_size_list = [2,3,4],这代表我们会分别取2个词,3个词,4个词进行卷积,然后将池化的结果进行拼接,最后得到了更加丰富的特征。

# use multi window-size cnn
cnn_result = []
for kernel_size in kernel_size_list:conv_layer = Conv1D(filters, kernel_size, padding='valid', activation='relu')sent_conv = conv_layer(sent_embed)sent_pooling = GlobalMaxPooling1D()(sent_conv)cnn_result.append(sent_pooling)
cnn_result = concatenate(cnn_result)

也可以看到使用多窗口的卷积最终准确率达到了89.99%,与只使用窗口为3的CNN相比提高了1个多点,还是挺有效果的。完整代码

25000/25000 [==============================] - 77s 3ms/step - loss: 0.3345 - acc: 0.8483 - val_loss: 0.2592 - val_acc: 0.8941
Epoch 2/2
25000/25000 [==============================] - 73s 3ms/step - loss: 0.1555 - acc: 0.9409 - val_loss: 0.2462 - val_acc: 0.8999
Accuracy: 89.99%

Reference

https://machinelearningmastery.com/predict-sentiment-movie-reviews-using-deep-learning/

https://keras.io/examples/imdb_cnn/

https://blog.csdn.net/u010960155/article/details/81112351

这篇关于使用CNN进行情感分析(Sentiment Analysis)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/1003991

相关文章

Python通用唯一标识符模块uuid使用案例详解

《Python通用唯一标识符模块uuid使用案例详解》Pythonuuid模块用于生成128位全局唯一标识符,支持UUID1-5版本,适用于分布式系统、数据库主键等场景,需注意隐私、碰撞概率及存储优... 目录简介核心功能1. UUID版本2. UUID属性3. 命名空间使用场景1. 生成唯一标识符2. 数

linux解压缩 xxx.jar文件进行内部操作过程

《linux解压缩xxx.jar文件进行内部操作过程》:本文主要介绍linux解压缩xxx.jar文件进行内部操作,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、解压文件二、压缩文件总结一、解压文件1、把 xxx.jar 文件放在服务器上,并进入当前目录#

SpringBoot中如何使用Assert进行断言校验

《SpringBoot中如何使用Assert进行断言校验》Java提供了内置的assert机制,而Spring框架也提供了更强大的Assert工具类来帮助开发者进行参数校验和状态检查,下... 目录前言一、Java 原生assert简介1.1 使用方式1.2 示例代码1.3 优缺点分析二、Spring Fr

Android kotlin中 Channel 和 Flow 的区别和选择使用场景分析

《Androidkotlin中Channel和Flow的区别和选择使用场景分析》Kotlin协程中,Flow是冷数据流,按需触发,适合响应式数据处理;Channel是热数据流,持续发送,支持... 目录一、基本概念界定FlowChannel二、核心特性对比数据生产触发条件生产与消费的关系背压处理机制生命周期

java使用protobuf-maven-plugin的插件编译proto文件详解

《java使用protobuf-maven-plugin的插件编译proto文件详解》:本文主要介绍java使用protobuf-maven-plugin的插件编译proto文件,具有很好的参考价... 目录protobuf文件作为数据传输和存储的协议主要介绍在Java使用maven编译proto文件的插件

SpringBoot线程池配置使用示例详解

《SpringBoot线程池配置使用示例详解》SpringBoot集成@Async注解,支持线程池参数配置(核心数、队列容量、拒绝策略等)及生命周期管理,结合监控与任务装饰器,提升异步处理效率与系统... 目录一、核心特性二、添加依赖三、参数详解四、配置线程池五、应用实践代码说明拒绝策略(Rejected

C++ Log4cpp跨平台日志库的使用小结

《C++Log4cpp跨平台日志库的使用小结》Log4cpp是c++类库,本文详细介绍了C++日志库log4cpp的使用方法,及设置日志输出格式和优先级,具有一定的参考价值,感兴趣的可以了解一下... 目录一、介绍1. log4cpp的日志方式2.设置日志输出的格式3. 设置日志的输出优先级二、Window

Ubuntu如何分配​​未使用的空间

《Ubuntu如何分配​​未使用的空间》Ubuntu磁盘空间不足,实际未分配空间8.2G因LVM卷组名称格式差异(双破折号误写)导致无法扩展,确认正确卷组名后,使用lvextend和resize2fs... 目录1:原因2:操作3:报错5:解决问题:确认卷组名称​6:再次操作7:验证扩展是否成功8:问题已解

Qt使用QSqlDatabase连接MySQL实现增删改查功能

《Qt使用QSqlDatabase连接MySQL实现增删改查功能》这篇文章主要为大家详细介绍了Qt如何使用QSqlDatabase连接MySQL实现增删改查功能,文中的示例代码讲解详细,感兴趣的小伙伴... 目录一、创建数据表二、连接mysql数据库三、封装成一个完整的轻量级 ORM 风格类3.1 表结构

使用Docker构建Python Flask程序的详细教程

《使用Docker构建PythonFlask程序的详细教程》在当今的软件开发领域,容器化技术正变得越来越流行,而Docker无疑是其中的佼佼者,本文我们就来聊聊如何使用Docker构建一个简单的Py... 目录引言一、准备工作二、创建 Flask 应用程序三、创建 dockerfile四、构建 Docker