[发明专利]一种数据驱动的网络敏感信息挖掘与预警平台

说明书

本公开提供了一种数据驱动的网络敏感信息挖掘与预警平台，包括自下而上的数据层、应用层和用户层。本公开提供的数据驱动的网络敏感信息挖掘及其在自进化预警平台指整合互联网搜索技术及信息智能处理技术，实现对互联网海量信息的自动抓取、自动分类聚类、事件发现和分析、观点挖掘、用户身份识别和网络关系发现、敏感信息监控与预警等功能，为政府公共管理部门全面掌握网络舆情、争取公共危机处置主动权提供了有效的分析依据。

技术领域

本公开涉及一种数据驱动的网络敏感信息挖掘与预警平台。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

在移动网和互联网飞速发展的时代，信息高度膨胀使得当前安全形势变得更加错综复杂，网络战争已经成为非传统社会安全领域的一个重要课题。

由于论坛、微博、博客、私人空间、人人网等社交网站承载着大量的数据流动，在传统安全防范手段难以有效发挥作用的电子荒野上，亿万个网民的亿万种声音，利用互联网的隐蔽性、普及性、虚拟性以及时空超越性等特点隐身其中,而网络中存在的色情、暴力、负面新闻等敏感信息对国家安全、民众生命财产安全、企业信誉等构成威胁。因此，对社交大数据中的敏感信息进行及时的挖掘，以实时发现网络犯罪为主要目标，提出针对社会安全事件和危险观点持有者的监控和预警框架，从而为在新型战场中抑制犯罪提供技术支持已成为当前重要的研究课题和应用需求。

当前国内外针对网络犯罪防控的研究主要集中于敏感话题发现、犯罪组织关系挖掘以及谣言的传播等方面，但这些方面的研究均依赖于一定量数据的积累分析，属于事后研判，其对犯罪活动整治及舆论导向起着支撑和辅助决策的作用，但却难以做到社会安全的实时监控以及预警，同时，现有的敏感信息预警机制和辅助决策不健全、应急指挥控制不敏捷、应用系统业务固化以及现有监控预警服务模式处理多源、异构涉恐数据时存在数据利用低效、数据处理服务功能有限、过程不可智能控制导致无法实现精准监控以及对涉恐敏感数据多维度、深层次的智能分析等问题。

发明内容

本公开为了解决上述问题，提出了一种数据驱动的网络敏感信息挖掘与预警平台，本公开能够对数据进行实时的多通道适配的分布式实时传输与分发、数据分级方式的存储与处理，进一步挖掘，广度及深度分析、用户威胁预判及跟踪分析，能够对敏感信息进行及时的处理和预警。

根据一些实施例，本公开采用如下技术方案：

一种数据驱动的网络敏感信息挖掘与预警平台，包括自下而上的数据层、应用层和用户层，其中：

数据层，具体包括采集层和存储层，所述采集层对获取的网页进行数据爬取，构建哈希表保存已经访问过的统一资源定位符，并利用布隆过滤器进行地址判重；所述存储层接收过去重后的数据，并利用分布式消息系统将预处理后的数据源分发，对数据流中的数据节点本身状态进行描述，数据节点通过心跳协议定期向控制节点汇报其状态信息，控制节点根据状态信息作为存储策略来选择数据节点是否合适的依据，根据设定的阈值与数据节点的状态信息来确定是否选择这个数据节点，对选择的数据进行优化存储；

所述应用层，被配置为对存储的数据进行k-means文本聚类，对数据进行分类，基于Apriori算法进行层次搜索、逐层遍历以提取频繁特征，对提取的特征信息进行模糊匹配，筛选出与预先设定的敏感信息相似度小于设定阈值的数据；

所述用户层，被配置为接收应用层的处理结构，进行相应的预警提示。

作为进一步的限定，所述数据采集层通过构建分布式实时采集系统完成多来源多通道的大数据采集与抓取，数据来源包括互联网社交网络、在线论坛、微博客、内容分享社区等主流网络平台，构建基于Markov逻辑网的数据抽取模型，对数据节点属性进行推理和语义标注。