[发明专利]商品网络舆情检测系统

权利要求书

1.一种商品网络舆情检测系统，用于对出入境商品在公开网络上的舆情信息进行舆情检测，其特征在于，包括：

数据获取模块，用于从所述公开网络中获取多个包含所述出入境商品的舆情信息的网页内容；

文本处理模块，用于依次对所述网页内容进行处理从而得到舆情信息文本；

文本去重模块，用于对所有的所述舆情信息文本进行去重处理得到待分析舆情信息文本；

情感倾向分析模块，用于依次对各个所述待分析舆情信息文本进行情感分析从而分别得到与各个所述待分析舆情信息相对应的舆情情感分；

舆情信息输出模块，用于将所述待分析舆情信息以及相应的所述舆情情感分进行对应输出，

其中，所述数据获取模块包括网页检索获取部以及网页去重部，

所述网页检索获取部根据所述出入境商品的商品关键词通过元搜索技术对所述公开网络中的相关网页内容进行检索并获取含有所述商品关键词的所述网页内容以及对应的网页地址，

所述网页去重部根据所述网页地址通过布隆过滤器对各个所述网页内容进行去重处理。

2.根据权利要求1所述的商品网络舆情检测系统，其特征在于：

其中，所述数据获取模块还包括热点网站统计判定部、获取控制部以及热点网站存储部，

所述热点网站统计判定部用于对所述网页地址的被命中次数进行统计从而根据所述被命中次数判定与所述网页地址对应的网站是否为热点网站，

当一个所述网站被判定为热点网站时，所述热点网站存储部就对该热点网站进行存储，

所述网页获取部在对各个所述公开网络中的网页进行检索并获取所述网页地址时，优先对所述常用网页存储部中存储的所述热点网站所对应的网页地址进行检索。

3.根据权利要求1所述的商品网络舆情检测系统，其特征在于：

其中，所述文本处理模块对所述网页内容进行处理的过程包括如下步骤：

节点标记步骤，对所述网页内容中的各个段落进行节点标记；

节点合并步骤，根据各个所述节点的上下文以及网页结构对所述节点进行合并形成父节点；

合并循环步骤，重复所述节点合并步骤直到完成预定条件；

分值计算步骤，根据最终多个父节点内的停用词数量、子节点的分布等因素，计算不同所述节点的最终分值；

舆情信息抽取步骤，根据所述最终分值最高的所述节点，从所述网页内容中抽取得到所述舆情信息文本。

4.根据权利要求1所述的商品网络舆情检测系统，其特征在于：

其中，所述文本去重模块对所述舆情信息文本进行去重处理的过程包括如下步骤：

文本选取步骤，将各个所述舆情信息文本两两组合并选取一对所述舆情信息文本；

相似度计算步骤，使用局部敏感哈希算法计算一对所述舆情信息文本之间的相似度；

文本去重步骤，判断所述相似度是否高于相似阈值并在判断高于所述相似阈值时随机剔除一对所述舆情信息文本中的一个，

去重循环步骤，选取下一对所述舆情信息文本并再次执行所述相似度计算步骤直至每对所述舆情信息文本都完成相似度的计算。

5.根据权利要求1所述的商品网络舆情检测系统，其特征在于：

其中，所述情感分析模块包括：

情感词典存储部，存储有预设的情感词典，该情感词典包含多个情感词以及对应的情感评分，

情感分计算部，根据所述情感词典依次对各个所述待分析舆情信息文本进行所述舆情情感分的计算，该计算公式为：

score＝∑iweight×(-1)t×k×word(i) (1)

式中，score为整个文本的情感分，i表示第i个文本，weight表示每个词的重要程度，t表示词语之前是否有否定词，k代表程度词带来的权重，word(i)是第i个词的所述情感评分。

6.根据权利要求1所述的商品网络舆情检测系统，其特征在于：

其中，所述网页地址为统一资源定位符。