|本期目录/Table of Contents|

[1]王丽亚,刘昌辉*,蔡敦波,等.基于CNN-BiLSTM网络引入注意力模型的文本情感分析[J].武汉工程大学学报,2019,(04):386-391.[doi:10. 3969/j. issn. 1674?2869. 2019. 04. 016]
　WANG Liya,LIU Changhui*,CAI Dunbo,et al.Text Sentiment Analysis Based on CNN-BiLSTM Network and Attention Model[J].Journal of Wuhan Institute of Technology,2019,(04):386-391.[doi:10. 3969/j. issn. 1674?2869. 2019. 04. 016]
点击复制

基于CNN-BiLSTM网络引入注意力模型的文本情感分析(/HTML)
分享到：

《武汉工程大学学报》[ISSN:1674-2869/CN:42-1779/TQ]

卷:
期数:
2019年04期
页码:
386-391
栏目:
机电与信息工程
出版日期:
2019-09-27

文章信息/Info

Title:
Text Sentiment Analysis Based on CNN-BiLSTM Network and Attention Model
文章编号:
20190416
作者:
王丽亚; 刘昌辉*; 蔡敦波; 赵彤洲; 王　梦
武汉工程大学计算机科学与工程学院，湖北 武汉 430205
Author(s):
WANG Liya;  LIU Changhui*;  CAI Dunbo;  ZHAO Tongzhou;  WANG Meng
School of Computer Science and Engineering， Wuhan Institute of Technology， Wuhan 430205， China
关键词:
卷积神经网络; CNN-BiLSTM; 注意力机制; 文本情感分析
Keywords:
convolutional neural network;  CNN-BiLSTM;  attention mechanism;  text sentiment analysis
分类号:
TP391
DOI:
10. 3969/j. issn. 1674?2869. 2019. 04. 016
文献标志码:
A
摘要:
为了解决单一卷积神经网络（CNN）缺乏利用文本上下文信息的能力和简单循环神经网络（RNN）无法解决长时依赖的问题，提出CNN-BiLSTM网络引入注意力模型的文本情感分析方法。首先利用CNN的特征强学习能力提取局部特征，再利用双向长短时记忆网络（BiLSTM）提取上下文相关特征的能力进行深度学习，最后，增加注意力层获取重要特征，使模型提取到有效的特征。在IMDB数据集上Accuracy值和均方根误差（RMSE）值分别达到90.34%和0.296 7，在Twitter数据集上Accuracy值和RMSE值分别达到76.90%、0.417 4，且模型时间代价小。结果表明，本文提出的模型有效提升了文本分类的准确率。
Abstract:
To solve the problems that single Convolutional Neural Network （CNN）lacks the ability to utilize text context information and simple Recurrent Neural Network（RNN） cannot deal with long-term dependence， we propose a text sentiment analysis method by introducing the attention model into a CNN-BiLSTM network. In the CNN-BiLSTM network， CNN model and Bidirectional Long Short-Term Memory （BiLSTM） model are used to extract local features and context-related features， respectively. After that， the attention layer is used to focus our attention on the most critical features. Experiments were performed on both IMDB and Twitter datasets. The accuracy and Root Mean Squared Error（RMSE） achieved on IMDB dataset are 90.34% and 0.296 7， respectively. As to dataset Twitter， 76.90% accuracy and 0.417 4 RMSE are achieved. The experimental results show that our technique is able to improve the accuracy of text classification effectively with little runtime overhead.

参考文献/References:

［1］　PANG B，LEE L，VAITHYANATHAN S. Sentiment classification using machine learning techniques［C］//Proceedings of Cnference on Empirical Methods in Natural Language Processing Slrroudstarg. Associaton for Computation Linguisilics, Philadelphia：2002：79-86.［2］　李松如.基于循环神经网络的网络舆情文本情感分析技术研究［D］.泉州：华侨大学，2017.［3］　BENGIO Y， SCHWENK H， SENECAL J S， et al. A neural probabilistic language model［J］. Journal of Machine Learning Research， 2003， 3（6）：1137-1155. ［4］　MIKOLOV T， CHEN K， CORRADO G， et al. Efficient estimation of word representations in vector spac e［EB/OL］.［2017-08-04］. http：//www.surdeanu.info/mihai/teaching/ista555-spring15/readings/mikolov2013.pdf.［5］　MIKOLOV T， SUTSKEVER I， CHEN K， et al. Distributed representations of words and phrases and their Compositionality［J］. Advances in Neural Information Processing Systems， 2013（26）：3111-3119.［6］　KIM Y.Convolutional neural networks for sentence classification［C］ //Proceedings of the EMNLP， 1746-1751.［7］　LEE J Y， DERNONCOURT F. Sequential short-text classification with recurrent and convolutional neural networks［J］. Eprint Arxiv： 2016，2（1）：515-520.［8］　MERRIENBOER B V，GULCEHRE C. Learning phrase representions using RNN encoder decoder for statistical machine translation［J］. Computer Science，2014：1-12.［9］　EBRAHIMI J， DOU D. Chain based RNN for relation classification ［C］ //Conference of the North American Chapter of the Association for Computational Linguistics. Denver, colorado：Association tor Computational Linguistics，2015： 1244-1249.［10］ 　孙晓，彭晓琪，胡敏，等.基于多维扩展特征与深度学习的微博短文本情感分析［J］.电子与信息学报，2017，39（9）： 2048-2055. ［11］　CHEN W ， XU B. Semi-supervised Chinese word segmentation based on bilingual information［C］//Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing， Lisbon， Portugal：Association for Compulational Linguistics, 2015： 1207-1216.［12］　ANDRIY M， GEOFFREY H. A scalable hierarchical distributed language model［C］// The Conference on Neural Information Processing Systems （NIPS），2008： 1081-1088［13］　BAHDANAU D， CHO K， BENGIO Y. Neural Machine translation by jointly learning to align and translate［EB/OL］.［2018-03-20］.https：//arxiv.org/pdf/1409.0473v7.pdf.［14］　MNIH V， HEESS N， GRAVES A. Recurrent models of visual attention［J］ Advances in Neural Information Processing Systems.2014，36（9）： 2204-2212.［15］　胡荣磊，芮璐，齐筱，等.基于循环神经网络和注意力模型的文本情感分析［J/OL］.计算机应用研究，2019（11）：1-7［2019-04-19］.http：//kns.cnki.net/kcms/detail/51.1196.TP.20180811.1330.064.html.［16］　ZHOU C， SUN C， LIU Z， et al. A C-LSTM neural network for text classification［J］. Computer Science，2015，1（4）： 39-44.［17］　常丹，王玉珍.基于SVM的用户评论情感分析方法研究［J］.枣庄学院学报，2019，36（2）：73-78.［18］　任勉，甘刚.基于双向LSTM模型的文本情感分类［J］.计算机工程与设计，2018，39（7）：2064-2068.［19］ 　王煜涵，张春云，赵宝林，等.卷积神经网络下的Twitter文本情感分析［J］.数据采集与处理，2018，33（5）：921-927.

相似文献/References:

[1]汪家明,卢　涛*.多尺度残差深度神经网络的卫星图像超分辨率算法[J].武汉工程大学学报,2018,40(04):440.[doi:10. 3969/j. issn. 1674?2869. 2018. 04. 018]
　WANG Jiaming,LU Tao *. Satellite Imagery Super-Resolution Algorithm via Multi-Scale Residual Deep Neural Network[J].Journal of Wuhan Institute of Technology,2018,40(04):440.[doi:10. 3969/j. issn. 1674?2869. 2018. 04. 018]
[2]张苏沛,刘　军*,肖澳文,等.基于卷积神经网络的验证码识别[J].武汉工程大学学报,2019,(01):89.[doi:10. 3969/j. issn. 1674?2869. 2019. 01. 015]
　ZHANG Supei,LIU Jun*,XIAO Aowen,et al.CAPTCHA Recognition Based on Convolutional Neural Network[J].Journal of Wuhan Institute of Technology,2019,(04):89.[doi:10. 3969/j. issn. 1674?2869. 2019. 01. 015]
[3]肖澳文,刘　军*,张苏沛,等.基于CNN的三维人体姿态估计方法[J].武汉工程大学学报,2019,(02):168.[doi:10. 3969/j. issn. 1674?2869. 2019. 02. 013]
　XIAO Aowen,LIU Jun*,ZHANG Supei,et al.Three-Dimensional Human Pose Estimation Based on Convolution Neural Network[J].Journal of Wuhan Institute of Technology,2019,(04):168.[doi:10. 3969/j. issn. 1674?2869. 2019. 02. 013]
[4]陈希彤,卢　涛*.基于全局深度分离卷积残差网络的高效人脸识别算法[J].武汉工程大学学报,2019,(03):276.[doi:10. 3969/j. issn. 1674-2869. 2019. 03. 014]
　CHEN Xitong,LU Tao *.Efficient Face Recognition Algorithm Using Global Deep Separable Convolutional and Residual Network[J].Journal of Wuhan Institute of Technology,2019,(04):276.[doi:10. 3969/j. issn. 1674-2869. 2019. 03. 014]
[5]熊寒颖,鲁统伟*,闵　峰,等.基于单一神经网络的实时人脸检测[J].武汉工程大学学报,2019,(05):489.[doi:10. 3969/j. issn. 1674?2869. 2019. 05. 015]
　XIONG Hanying,LU Tongwei*,MIN Feng,et al.Real-Time Face Detection Based on Single Neural Network[J].Journal of Wuhan Institute of Technology,2019,(04):489.[doi:10. 3969/j. issn. 1674?2869. 2019. 05. 015]
[6]杜梦星,王彦伟*.基于CNN的突发事件预警系统的设计与实现[J].武汉工程大学学报,2020,42(02):207.[doi:10.19843/j.cnki.CN42-1779/TQ.201910016]
　DU Mengxing,WANG Yanwei*.Design and Implementation of Emergency Warning System Based on Convolution Neural Network[J].Journal of Wuhan Institute of Technology,2020,42(04):207.[doi:10.19843/j.cnki.CN42-1779/TQ.201910016]
[7]江满星,赵彤洲*,吴泽俊.基于目标形状卷积神经网络在舰船分类中的应用[J].武汉工程大学学报,2020,42(02):213.[doi:10.19843/j.cnki.CN42-1779/TQ.201911022]
　JIANG Manxing,ZHAO Tongzhou*,WU Zejun.Application of Convolution Neural Network Based on Target Shape in Ships and Warships Classification[J].Journal of Wuhan Institute of Technology,2020,42(04):213.[doi:10.19843/j.cnki.CN42-1779/TQ.201911022]

备注/Memo

备注/Memo:
收稿日期：2019-04-24基金项目：国家自然科学基金（61103136）；武汉工程大学研究生教育创新计划项目（CX2018196）作者简介：王丽亚，硕士研究生。E-mail：lia.w@qq.com*通讯作者：刘昌辉，博士，副教授。E-mail：lch52012@qq.com引文格式：王丽亚，刘昌辉，蔡敦波，等. 基于CNN-BiLSTM网络引入注意力模型的文本情感分析［J］. 武汉工程大学学报，2019，41（4）：386-391.
更新日期/Last Update: 2019-08-05