[发明专利]多源、异构流态大数据分布式在线实时处理方法及系统

摘要

本公开提供了一种多源、异构流态大数据分布式在线实时处理方法及系统，利用分布式爬虫去重算法对各来源的网页数据进行爬取，对爬取的页面进行预处理，利用视觉的页面分割算法构建相应的树，并根据视觉规则进行噪音节点的剪枝，对多层页面进行分类，根据不同特性确定不同类型页面下的谓词，通过规则推断出数据记录块节点与数据属性节点；利用分布式消息系统将预处理后的数据源分发，提供数据流，对数据流中的数据节点本身状态进行描述，形成状态信息；利用Hadoop分布式文件系统对数据流进行选择存储的操作，基于K‑means文本聚类方法对处理后的数据进行检测，确定与预定的敏感信息文本相似的文本，筛选出敏感信息。

主权项

1.一种多源、异构流态大数据分布式在线实时处理方法，其特征是：包括以下步骤：(1)利用分布式爬虫中URL去重算法对各来源的网页数据进行爬取，构建哈希表保存已经访问过的URL，并利用布隆过滤器进行地址判重；(2)对爬取的页面进行预处理，利用视觉的页面分割算法VISP构建相应的树，并根据视觉规则进行噪音节点的剪枝，对多层页面进行分类，根据不同特性确定不同类型页面下的谓词，通过规则推断出数据记录块节点与数据属性节点；(3)利用分布式消息系统将预处理后的数据源分发，提供数据流，对数据流中的数据节点本身状态进行描述，形成状态信息；(4)利用Hadoop分布式文件系统对数据流进行选择存储的操作，数据节点通过心跳协议定期向控制节点汇报其状态信息，控制节点根据状态信息作为存储策略来选择数据节点是否合适的依据，根据设定的阈值与数据节点的状态信息来确定是否选择这个数据节点，对选择的数据进行优化存储；(5)采用主从模式构建分布式数据处理模型对存储的数据进行处理，利用控制节点保存集群中计算节点信息，并建立任务调度机制、数据分片调度和追踪机制，以及并行计算状态追踪机制，利用计算节点与控制节点通信，运行控制节点分派的任务，得到分发数据结果；(6)基于K‑means文本聚类方法对处理后的数据进行检测，确定与预定的敏感信息文本相似的文本，筛选出敏感信息。