[发明专利]一种基于Mongodb和HanLP的电商舆情分析方法及系统

权利要求书

1.一种基于Mongodb和HanLP的电商舆情分析方法，其特征在于，包括以下步骤：

A.数据搜集，通过爬虫程序定时从若干电商渠道爬取用户评论数据并存储到Mongodb原始集合中；

B.针对不同商品类别，维护相应的目标提及点；

C.周期性的从Mongodb原始集合中获取数据，以目标提及点为样本，使用HanLP对评论数据进行分词；分词结果会包含完整的单个提及点，即目标提及点会作为一个原子单元被切分出来；使用HanLP对评论数据进行分词时具体是将重点关注的分词单元通过CustomDictionary的add方法添加到HanLP中，然后使用HanLP对用户评论文本进行分词，且分词之后的结果都以字符串的形式存入Java集合中，其中，CustomDictionary是一份全局的用户自定义词典；

D.对分词结果进行过滤，去除停词保留有效分词，并与目标提及点进行匹配；所述步骤D中与目标提及点进行匹配时具体是：将分词结果的Java集合与目标提及点集合取交集，交集的结果即为单条用户评论命中的提及点；

E.将匹配结果存储到Mongodb目标集合中，同时记录Mongodb原始集合中的数据处理进度；所述步骤E中将匹配结果存储到Mongodb目标集合中时，具体为，将命中的提及点集合以mention字段为key添加到用户评论数据对应的Document文档中，再利用MongoTemplate将Document文档写入到Mongodb目标集合中；

F.根据不同的查询条件从Mongodb目标集合获取数据进行数据统计分析，提供结果展示。

2.根据权利要求1所述的一种基于Mongodb和HanLP的电商舆情分析方法，其特征在于，所述步骤A中，在Mongodb原始集合中，每条用户评论都是一个Bson文档。

3.根据权利要求1所述的一种基于Mongodb和HanLP的电商舆情分析方法，其特征在于，所述步骤C中从Mongodb原始集合中获取数据时具体包括：利用MongoTemplate从Mongodb集合中批量获取用户评论数据，再利用Document类提供的getString方法获取特定字段的值，其中，MongoTemplate是操作Mongodb数据库的一个Java实现模板，Document是Mongodb单条文档对应的Java类；所述特定字段的值即用户的评论及追评信息。

4.根据权利要求1所述的一种基于Mongodb和HanLP的电商舆情分析方法，其特征在于，所述步骤F具体为：

F1.根据不同的查询条件，通过SpringMVC框架利用MongoTemplate的find方法从Mongodb新集合中获取数据；

F2.使用@ResponseBody注解将数据放到请求响应体中传递给前端页面，以Html表格的形式进行展现；其中，@ResponseBody是SpringMVC框架提供的注解，其作用是将方法的返回值写入响应体中。

5.一种基于Mongodb和HanLP的电商舆情分析系统，其特征在于，包括：

爬虫数据搜集模块、目标提及点维护模块、文本分词匹配模块、数据统计展示模块；

所述爬虫数据搜集模块用于从不同渠道搜集特定商品的用户评论，并记录到Mongodb原始集合中；所述目标提及点维护模块用于针对不同商品类别，维护相应的目标提及点，所述文本分词匹配模块用于将重点关注的分词单元通过CustomDictionary的add方法添加到HanLP中，然后使用HanLP对用户评论文本进行分词，分词结果会包含完整的单个提及点，即目标提及点会作为一个原子单元被切分出来；使用HanLP对评论数据进行分词时具体是将重点关注的分词单元通过CustomDictionary的add方法添加到HanLP中，然后使用HanLP对用户评论文本进行分词，且分词之后的结果都以字符串的形式存入Java集合中，其中，CustomDictionary是一份全局的用户自定义词典；并将分词结果的Java集合与目标提及点集合取交集，其中，交集的结果即为单条用户评论命中的提及点，以及将命中的提及点集合以mention字段为key添加到用户评论数据对应的Document文档中，利用MongoTemplate将Document文档写入到Mongodb新的集合中，所述数据统计展示模块用于根据不同条件，通过SpringMVC框架利用MongoTemplate的find方法从Mongodb新集合中获取数据，使用@ResponseBody注解将数据放到请求响应体中传递给前端页面，以Html表格的形式进行展现；

特定商品包括电视、冰箱空调。