[发明专利]一种基于大数据的有害信息监测方法及系统

说明书

技术领域

本发明涉及网络有害信息监测领域，尤其涉及一种基于大数据的有害信息 监测方法及系统。

背景技术

近年来，互联网业务发展十分迅猛，它加快了信息传播的速度，拓宽了信 息传播的渠道，对经济的发展、社会的进步、科技的普及起到了积极的作用， 但是随之而产生的信息内容安全问题也越来越突出，特别是当前境内外敌对势 力和一些不法分子，利用互联网进行各种违法犯罪活动问题突出，各种有害信 息在互联网上的传播，严重地危害了国家安全和社会稳定。

现有技术中的有害信息监测系统的主要目的仅满足于对互联网基础资源 的基础管理工作，侧重于对相关资源的管理及追溯，以及这些资源的拥有者资 料的管理，相关资源实名制的管理，但并未侧重于对违法有害信息的发现、监 测、拦截、处置，虽然也有一套信安设备，其中也具备有非法信息的发现及过 滤功能，但是功能单一，且这些监管指令主要是由政府主管部门下发，由系统 执行，而不是企业自主设置，此外也仅仅具备最简单的记录与拦截的功能，而 不具备关键字分级、自主发现、自动汇总、就地通知、异步通知、批量处理、 分类管理等必须功能，更不具备防止误判的功能，所以面对如何减少有害信息 的滋生、传播这个问题，就无法发挥有效作用。

发明内容

本发明提供一种基于大数据的有害信息监测方法及系统，解决现有技术中 有害信息监测系统对有害信息监测功能单一的技术问题。

本发明的目的是通过以下技术方案实现的：

一种基于大数据的有害信息监测方法，包括：

利用网络爬虫对监测网站的内容进行实时爬取，以获取网页的页面信息；

对网页的页面信息，进行分析、分词，建立文档索引和关键词索引，并保 存至索引数据库；

根据词库文件，计算监测网站的网页的关键词评分，所述词库文件包括负 面关键词和正面关键词，所述负面关键词设有对应的正分值，所述正面关键词 设有对应的负分值；

当监测网站的网页的关键词评分大于预设阈值时，对所述监测网站进行记 录；

向所述监测网站的所有者发送通告信息，所述通告信息包含网页记录原因、 记录的关键词、处置方式。

一种基于大数据的有害信息监测系统，包括：

获取模块，用于利用网络爬虫对监测网站的内容进行实时爬取，以获取网 页的页面信息；

索引模块，用于对网页的页面信息，进行分析、分词，建立文档索引和关 键词索引，并保存至索引数据库；

计算模块，用于根据词库文件，计算监测网站的网页的关键词评分，所述 词库文件包括负面关键词和正面关键词，所述负面关键词设有对应的正分值， 所述正面关键词设有对应的负分值；

记录模块，用于当监测网站的网页的关键词评分大于预设阈值时，对所述 监测网站进行记录；

通告模块，用于向所述监测网站的所有者发送通告信息，所述通告信息包 含网页记录原因、记录的关键词、处置方式。

本发明提供一种基于大数据的有害信息监测方法及系统，利用网络爬虫对 监测网站的内容进行实时爬取，以获取网页的页面信息；对网页的页面信息， 进行分析、分词，建立文档索引和关键词索引，并保存至索引数据库；根据词 库文件，计算监测网站的网页的关键词评分；当监测网站的网页的关键词评分 大于预设阈值时，对所述监测网站进行记录；向所述监测网站的所有者发送通 告信息。本发明提高了有害信息的监测效率，误差率低，可以对有害信息实现 长效管控。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施 例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是 本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性 的前提下，还可根据这些附图获得其他的附图。

图1为本发明实施例的一种基于大数据的有害信息监测方法的流程图；

图2为本发明实施例的一种基于大数据的有害信息监测系统的结构示意 图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和 具体实施方式对本发明作进一步详细的说明。

如图1所示，为本发明实施例提供的一种基于大数据的有害信息监测方法， 包括：

步骤101、利用网络爬虫对监测网站的内容进行实时爬取，以获取网页的 页面信息；

步骤102、对网页的页面信息，进行分析、分词，建立文档索引和关键词 索引，并保存至索引数据库；

步骤103、根据词库文件，计算监测网站的网页的关键词评分；