[发明专利]针对网络安全信息的海量数据挖掘系统

说明书

本发明公开了一种针对网络安全信息的海量数据挖掘系统，该系统包括：Web文本采集模块、文本分类模块以及类别判断模块；其中，所述Web文本采集模块负责从网络Web网页中采集文本信息，同时将获取的Web文本信息传输给所述文本分类模块；所述文本分类模块将待分类的Web文本进行分词处理，过滤其中的停用词，获取其中的特征词，同时通过向量描述文本特征词；所述类别判断模块负责分析所述文本分类模块提交的待分析网络文本信息是否属于不安全信息类。本发明方案引入机器学习的思想，利用Web方式进行数据采集，实现了具有较高的查全率、查准率和较高的检测性能的数据挖掘系统，有效地解决了当前网络不安全信息的挖掘难题。

技术领域

本发明属于大数据挖掘技术领域，涉及一种针对网络安全信息的海量数据挖掘系统。

背景技术

随着网络信息技术的快速发展，其在人们的生产和生活中发挥着越来越重要的作用。网络信息技术的发展促使网络经济发展速度提升，但网络信息安全问题限制了网络经济的发展。

传统的信息挖掘方法，挖掘面窄，扩展性差，无法有效挖掘出网络中的不安全信息。因此，寻求有效的方法，确保网络信息安全，成为相关人员分析的热点问题。

当前针对网络不安全信息的挖掘方法大都存在一定的问题。例如，对待检测资料的可理解性要求较高，或是需要大量的数据为分析依据，或是存在较高的误差等等。

发明内容

本发明目的在于提供一种针对网络安全信息的海量数据挖掘系统，为了克服传统的信息挖掘算法挖掘面窄，扩展性差，无法有效挖掘出网络中不安全信息的问题，引入机器学习的思想，利用Web方式进行数据采集，实现了具有较高的查全率、查准率和较高的检测性能的数据挖掘系统，有效地解决了当前网络不安全信息的挖掘难题。

为解决上述技术问题，本发明采用如下的技术方案：一种针对网络安全信息的海量数据挖掘系统，该系统包括：Web文本采集模块、文本分类模块以及类别判断模块；其中，所述Web文本采集模块负责从网络Web网页中采集文本信息，同时将获取的Web文本信息传输给所述文本分类模块；所述文本分类模块将待分类的Web文本进行分词处理，过滤其中的停用词，获取其中的特征词，同时通过向量描述文本特征词；所述类别判断模块负责分析所述文本分类模块提交的待分析网络文本信息是否属于不安全信息类。

进一步地，所述Web文本采集模块中，Web页面的采集需先过滤Web页面的非结构数据，再从页面采集链接、文本的标题以及正文，确保在Web网页中仅存在文本信息。

进一步地，所述文本分类模块包括训练子模块、分类子模块以及分类器子模块。

进一步地，所述类别判断模块通过报警子模块对网络不安全信息进行报警，同时通知管理人员对不安全信息进行相关的处理。

本发明与现有技术相比具有以下的有益效果：

本发明方案针对传统的信息挖掘算法挖掘面窄，扩展性差，无法有效挖掘出网络中不安全信息的问题，引入机器学习的思想，利用Web方式进行数据采集，实现了具有较高的查全率、查准率和较高的检测性能的数据挖掘系统，有效地解决了当前网络不安全信息的挖掘难题。

附图说明

图1是针对网络安全信息的海量数据挖掘系统的整体结构示意图。

图2是针对网络安全信息的海量数据挖掘系统中Web文本信息自动采集流程图。

图3是针对网络安全信息的海量数据挖掘系统中文本分类模块结构示意图。

图4是针对网络安全信息的海量数据挖掘系统功能模块示意图。

具体实施方式

下面结合附图及具体实施例对本发明进行更加详细与完整的说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。