[发明专利]一种基于注意力机制和双向LSTM方面情感分析系统

说明书

本发明涉及情感分析的技术领域，且公开了一种基于注意力机制和双向LSTM方面情感分析系统，主要由数据获取模块、数据清洗模块、模型训练模块和统计分析模块组成，所述数据获取模块与所述数据清洗模块电连接，所述数据清洗模块与所述模型训练模块电连接，所述模型训练模块与所述统计分析模块电连接；采用软件工程的思想进行系统的设计与实现，分为系统需求分析、系统总体结构设计、系统的详细设计与实现三个阶段，基于研究开发了面向线上的评论情感分析系统，在方面识别模型与情感分析模型间使用管道进行衔接，统计分析并展示情感极性信息，此系统可用于电商平台为商家提供用户的个性取向和消费决策参考，可在此系统基础上构建推荐系统。

技术领域

本发明涉及情感分析的技术领域，具体为一种基于注意力机制和双向LSTM方面情感分析系统。

背景技术

随着社交网络的发展，用户可以通过各类社交网站、微博、电商平台发表大量具有明确情感倾向的内容，这些内容涉及社会的方方面面，对这些内容进行统计、分析和归纳对产品市场调研、网络舆情发现和社会的热点分析具有极其重要的价值。文本的情感分析分为三类：基于词典和规则的情感分析、基于传统机器学习的情感分析和基于深度学习的情感分析。早期的情感分析研究较为粗粒度，普遍认为一个文档或一个句子只包含一种情感倾向。方面情感分析(Aspect-based Sentiment Analysis，ABSA)对句子中单词所属的方面进行细粒度化的情感分析研究，通过分析方面的情感属性来准确提取文本更深层次的语义特征，句子中的每个方面可能具有不同的情感倾向。近年来深度学习模型受到学术界的广泛关注，通过深度学习模型的自学习能力挖掘单词间的隐含关系已经成为了提升方面级情感分析准确性的重要途径。

对基于方面的情感分析任务的研究目前仍处于初级阶段，方面识别任务和基于方面的情感分析任务都存在一些不足之处。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种基于注意力机制和双向 LSTM方面情感分析系统，具备方面识别模型与情感分析模型间使用管道进行衔接的优点，解决了对基于方面的情感分析任务的研究目前仍处于初级阶段的问题。

(二)技术方案

为实现上述目的，本发明提供如下技术方案：一种基于注意力机制和双向LSTM方面情感分析系统，主要由数据获取模块、数据清洗模块、模型训练模块和统计分析模块组成，所述数据获取模块与所述数据清洗模块电连接，所述数据清洗模块与所述模型训练模块电连接，所述模型训练模块与所述统计分析模块电连接，所述数据获取模块主要由评论数据爬取和评论数据存储组成，所述数据清洗主要由拼写检查、去除杂质、去除停用词和过滤无效数据组成，所述模型训练模块主要由方面识别模型训练和情感分析模型训练组成，所述统计分析模块主要由方面数据和方面情感数据组成。

优选的，所述评论数据爬取对网页源码进行爬取、文本解析，并将数据存储至所述评论数据存储中。

优选的，所述数据清洗模块对所述评论数据存储中的数据进行预处理，去除数据中的杂质。

优选的，所述数据清洗模块清洗后的数据作为词向量训练模型的输入，所述词向量训练模型的输出作为所述方面识别模型与所述方面情感分析模型的输入，所述方面识别模型的结果以管道的方式传输给所述方情感分析模型，所述情感分析模型的结果传输给前端。

优选的，所述模型训练模块中的所述情感分析模型的结果进行统计分析，以可视化的形式显示在所述前端页面上。

优选的，所述评论数据爬取主要由获取爬取目标、数据采集和数据分析组成。

优选的，所述获取爬取目标：输入要爬取网站的URL，将这些输入的所述URL加入爬取队列，所述数据采集：利用python的scrapy 爬虫框架爬取队列中的网站源码，所述数据解析：利用所述python 的re库构建正则表达式对采集到的URL源码进行文本解析获取用户评论数据。