[发明专利]多源、异构流态大数据分布式在线实时处理方法及系统

权利要求书

1.一种多源、异构流态大数据分布式在线实时处理方法，其特征是：包括以下步骤：

(1)利用分布式爬虫中URL去重算法对各来源的网页数据进行爬取，构建哈希表保存已经访问过的URL，并利用布隆过滤器进行地址判重；

(2)对爬取的页面进行预处理，利用视觉的页面分割算法VISP构建相应的树，并根据视觉规则进行噪音节点的剪枝，对多层页面进行分类，根据不同特性确定不同类型页面下的谓词，通过规则推断出数据记录块节点与数据属性节点；

(3)利用分布式消息系统将预处理后的数据源分发，提供数据流，对数据流中的数据节点本身状态进行描述，形成状态信息；

(4)利用Hadoop分布式文件系统对数据流进行选择存储的操作，数据节点通过心跳协议定期向控制节点汇报其状态信息，控制节点根据状态信息作为存储策略来选择数据节点是否合适的依据，根据设定的阈值与数据节点的状态信息来确定是否选择这个数据节点，对选择的数据进行优化存储；

(5)采用主从模式构建分布式数据处理模型对存储的数据进行处理，利用控制节点保存集群中计算节点信息，并建立任务调度机制、数据分片调度和追踪机制，以及并行计算状态追踪机制，利用计算节点与控制节点通信，运行控制节点分派的任务，得到分发数据结果；

(6)基于K-means文本聚类方法对处理后的数据进行检测，确定与预定的敏感信息文本相似的文本，筛选出敏感信息。

2.如权利要求1所述的一种多源、异构流态大数据分布式在线实时处理方法，其特征是：所述步骤(1)中，构建多个哈希表，每个哈希表通过一个哈希函数将一个网页映射成一个位阵列中的一个点，利用布隆过滤器查看每个哈希表，只要查看对应的点是不是1就能够确定对应的集合中是否包含该网页。

3.如权利要求1所述的一种多源、异构流态大数据分布式在线实时处理方法，其特征是：所述步骤(2)中，对页面的实体属性抽取，利用视觉分割算法VISP将结果页面进行区域分割并构建对应的Vision树，将结果页面分为：

(a)内部页面，包含同一页面内各元素及其关系；

(b)详细页面，包含了具体实体的详细信息，通过内部页面的超链接访问；

(c)同类页面，为同一站点下由相同模板生成，其包含实体具有一定的结构、位置和外观相似性；

利用了Markov逻辑网对分类关系进行建模以实现特征的有效合并，通过对三类特征的集成，计算出所有最大谓词，完成对实体属性的推理抽取。

4.如权利要求1所述的一种多源、异构流态大数据分布式在线实时处理方法，其特征是：所述步骤(4)中，Hadoop分布式文件系统中只有控制节点和数据节点，控制节点负责系统控制和策略实施，数据节点负责存储数据，当客户端向HDFS文件系统中存储数据时，首先客户端和控制节点通信，控制节点根据副本系数去选择数据节点，然后返回给客户端选择的数据节点，最后客户端和这些数据节点直接通信传输数据；

状态信息包括成员变量、存储容量、剩余容量和最后更新时间信息，这些信息需要数据节点定期向控制节点汇报，控制节点利用这些信息作为数据存储策略的选择依据；

数据节点通过定期的向控制节点发送心跳，汇报当前数据节点的状态信息，同时告诉控制节点自己还活着，控制节点通过对数据节点的心跳答复发送相应的命令信息。

5.如权利要求1所述的一种多源、异构流态大数据分布式在线实时处理方法，其特征是：所述步骤(4)中，控制节点在接收到数据节点的心跳后的算法处理过程如下:

对控制节点的身份进行检查包括版本信息和注册信息；

控制节点更新该数据节点的状态信息；

控制节点查询该数据节点的块状态，然后生成对数据节点的命令列表；

控制节点检查当前的分布式系统更新状态；

控制节点将生成的命令信息发送给相应的数据节点；

心跳处理完毕。

6.如权利要求1所述的一种多源、异构流态大数据分布式在线实时处理方法，其特征是：所述步骤(4)中，采用机架感知的策略来确定数据节点的位置，通过一个机架感知的过程，控制节点确定数据节点所属的机架id，默认的存储策略将副本存放在不同的机架上，将副本数据均匀的分布在集群之中。