[发明专利]基于句法分析的微博情感分类方法和系统

说明书

一种基于句法分析的微博情感分类方法，包括：S1：获取用于情感分析的微博短文本，根据情感极性进行文本类别标注并划分为训练集和测试集；S2：分别对训练集和测试集进行数据预处理；S3：对预处理后的每个样本进行依存句法分析，结合外部情感特征词典构建特征词库；S4：根据预先构建的情感特征词库，分别对训练集和测试集的初始特征集合进行特征扩展，使用TFIDF计算每个特征词的特征权值并向量化表示文本；S5：根据所述扩展后的训练样本集训练贝叶斯分类器，根据所述贝叶斯分类模型对扩展后的测试样本进行分类操作，得到微博情感分类结果。本发明还包括基于句法分析的微博情感分类系统。

技术领域

本发明涉及中文短文本分类技术领域，尤其是涉及一种基于句法分析的微博情感分类方法和系统。

背景技术

作为当代最热门的社交软件之一，微博从发展至今拥有了上亿的用户群，由于微博信息发布速度快、传播范围广，成为了最受民众欢迎社交网络平台。在微博上，每一个人都可以畅所欲言，发表一些生活动态以及对时事新闻、娱乐八卦的看法，同时也可以快速获取我们想要了解的信息。微博传播的高效性、实时性在为我们带来了便利的同时，也会给社会带来一些消极负面的影响。

微博短文本的情感分析，重点在于通过文本中包含的立场、观点、态度等主观信息对微博正负情感倾向性进行判断，实质上是一种中文短文本的分类问题。微博由于文本字数的限制(最多不超过140字)，导致文本信息内容简短、情感特征稀疏，使得难以对其进行高效的分类。目前，微博情感分析的分类方法主要有两类：一类是基于外部语料库的方法，通过引入外部语料库对微博情感特征进行语义特征扩展，虽然能提高分类效果，但是很大程度上依赖于语料库的质量；另一类是基于深度学习的分类方法，使用深度学习模型进行情感分类，分类模型的好坏取决于微博情感特征的提取。

因此，对微博短文本的情感分析问题进行研究，提供一种高效快速的微博情感分类方法和系统，具有重要的研究意义和实用价值，有助于网络监管、舆情发现、杜绝网络暴力、维护一个清明纯净的网络空间。

发明内容

本发明的目的在于克服现有技术中所存在的上述缺点和不足，提供一种基于句法分析的微博情感分类方法和系统。本发明有效利用句法依存关系对微博短文本进行情感特征提取，再借助于外部的情感词库进行特征扩展后，有效解决了微博短文本情感特征稀疏导致分类效果不佳的缺陷。

为了实现上述发明目的，本发明提供了以下技术方案：

本发明提供了一种基于句法分析的微博情感分类方法，该方法包含以下实现步骤：

S1：获取用于情感分析的微博短文本，根据情感极性进行文本类别标注并划分为训练集和测试集；

S2：分别对训练集和测试集进行数据预处理，包括中文分词、去停用词等；

S3：对预处理后的每个样本进行依存句法分析，得到依存句法树；根据所述依存句法树采用基于句法路径的匹配算法进行微博情感特征选择，提取出具有明显情感倾向性的词汇作为初始特征集合，并结合外部情感特征词典构建特征词库；

S4：根据预先构建的情感特征词库，分别对训练集和测试集的初始特征集合进行特征扩展，使用TFIDF计算每个特征词的特征权值并向量化表示文本；

S5：根据所述扩展后的训练样本集训练贝叶斯分类器，得到贝叶斯分类模型；根据所述贝叶斯分类模型对扩展后的测试样本进行分类操作，得到微博情感分类结果。

进一步地，所述步骤S1具体包含：

S11：在新浪微博等社交平台上，通过爬虫软件爬取一定数量且包含不同情感类别的微博短文本数据；

S12：将获取的文本数据进行数据清洗：删除空文本等无效样本数据，并通过正则表达式剔除微博短文本中包含的表情、链接、图片等噪声数据，为保证样本的多样性，处理后的样本数量不少于10000条；