[发明专利]一种基于大数据的有害信息监测方法及系统

权利要求书

1.一种基于大数据的有害信息监测方法，其特征在于，包括：

利用网络爬虫对监测网站的内容进行实时爬取，以获取网页的页面信息；

对网页的页面信息，进行分析、分词，建立文档索引和关键词索引，并保存至索引数据库；

根据词库文件，计算监测网站的网页的关键词评分，所述词库文件包括负面关键词和正面关键词，所述负面关键词设有对应的正分值，所述正面关键词设有对应的负分值；

当监测网站的网页的关键词评分大于预设阈值时，对所述监测网站进行记录；

向所述监测网站的所有者发送通告信息，所述通告信息包含网页记录原因、记录的关键词、处置方式。

2.根据权利要求1所述的基于大数据的有害信息监测方法，其特征在于，所述向所述监测网站的所有者发送通告信息的步骤之后，包括：

判断预设时间之内是否接收到所述监测网站的所有者的处置反馈信息；

当预设时间之内接收到所述监测网站的所有者的处置反馈信息时，根据所述反馈信息，对所述监测网站进行处理；

当预设时间之内未接收到所述监测网站的所有者的处置反馈信息时，对所述监测网站进行阻断。

3.根据权利要求1所述的基于大数据的有害信息监测方法，其特征在于，向所述监测网站的所有者发送通告信息，包括：

通过移动应用通知所述监测网站的所有者；或者，

通过邮件通知的方式通知所述监测网站的所有者；或者，

通过在用户访问网站的时，返回通知信息；或者，

通过后台系统通知所述监测网站的所有者。

4.根据权利要求1所述的基于大数据的有害信息监测方法，其特征在于，所述根据词库文件，计算监测网站的网页的关键词评分的步骤，包括：

根据词库文件，确定负面关键词的分值及正面关键词的分值，将所有负面关键词的分值与所有正面关键词的分值相加，所述负面关键词和正面关键词的分值由重要性或二义性确定。

5.根据权利要求2所述的基于大数据的有害信息监测方法，其特征在于，所述当预设时间之内接收到所述监测网站的所有者的处置反馈信息时，根据所述反馈信息，对所述监测网站进行处理的步骤，包括：

当所述反馈信息为确认监测结果正确，并完成处理的信息时，删除所述监测网站的记录；

当所述反馈信息为监测结果有误时，删除所述监测网站的记录，并更新词库文件。

6.一种基于大数据的有害信息监测系统，其特征在于，包括：

获取模块，用于利用网络爬虫对监测网站的内容进行实时爬取，以获取网页的页面信息；

索引模块，用于对网页的页面信息，进行分析、分词，建立文档索引和关键词索引，并保存至索引数据库；

计算模块，用于根据词库文件，计算监测网站的网页的关键词评分，所述词库文件包括负面关键词和正面关键词，所述负面关键词设有对应的正分值，所述正面关键词设有对应的负分值；

记录模块，用于当监测网站的网页的关键词评分大于预设阈值时，对所述监测网站进行记录；

通告模块，用于向所述监测网站的所有者发送通告信息，所述通告信息包含网页记录原因、记录的关键词、处置方式。

7.根据权利要求6所述的基于大数据的有害信息监测系统，其特征在于，还包括处理模块，所述处理模块包括：

判断单元，用于判断预设时间之内是否接收到所述监测网站的所有者的处置反馈信息；

处理单元，用于当预设时间之内接收到所述监测网站的所有者的处置反馈信息时，根据所述反馈信息，对所述监测网站进行处理；

阻断单元，用于当预设时间之内未接收到所述监测网站的所有者的处置反馈信息时，对所述监测网站进行阻断。

8.根据权利要求6所述的基于大数据的有害信息监测系统，其特征在于，所述通告模块包括：

第一通告单元，用于通过移动应用通知所述监测网站的所有者；或者，

第二通告单元，用于通过邮件通知的方式通知所述监测网站的所有者；或者，

第三通告单元，用于通过在用户访问网站的时，返回通知信息；或者，

第四通告单元，用于通过后台系统通知所述监测网站的所有者。