[发明专利]一种数据驱动的网络敏感信息挖掘与预警平台

摘要

本公开提供了一种数据驱动的网络敏感信息挖掘与预警平台，包括自下而上的数据层、应用层和用户层。本公开提供的数据驱动的网络敏感信息挖掘及其在自进化预警平台指整合互联网搜索技术及信息智能处理技术，实现对互联网海量信息的自动抓取、自动分类聚类、事件发现和分析、观点挖掘、用户身份识别和网络关系发现、敏感信息监控与预警等功能，为政府公共管理部门全面掌握网络舆情、争取公共危机处置主动权提供了有效的分析依据。

主权项

1.一种数据驱动的网络敏感信息挖掘与预警平台，其特征是：包括自下而上的数据层、应用层和用户层，其中：数据层，具体包括采集层和存储层，所述采集层对获取的网页进行数据爬取，构建哈希表保存已经访问过的统一资源定位符，并利用布隆过滤器进行地址判重；所述存储层接收过去重后的数据，并利用分布式消息系统将预处理后的数据源分发，对数据流中的数据节点本身状态进行描述，数据节点通过心跳协议定期向控制节点汇报其状态信息，控制节点根据状态信息作为存储策略来选择数据节点是否合适的依据，根据设定的阈值与数据节点的状态信息来确定是否选择这个数据节点，对选择的数据进行优化存储；所述应用层，被配置为对存储的数据进行k‑means文本聚类，对数据进行分类，基于Apriori算法进行层次搜索、逐层遍历以提取频繁特征，对提取的特征信息进行模糊匹配，筛选出与预先设定的敏感信息相似度小于设定阈值的数据；所述用户层，被配置为接收应用层的处理结构，进行相应的预警提示。