[发明专利]一种基于位图数据结构的数据分析方法及装置

摘要

本发明实施例提供了一种基于位图数据结构的数据分析方法及装置，该方法包括：获得主节点分配的第一事务子集合；获得总数目及排序；根据排序确定每一目标项目的位图数据；统计每一目标项目的位图数据中第一数据与总数目之间的比例，根据统计的比例确定目标项目中的频繁1项集；将为频繁1项集的目标项目和为频繁1项集的目标项目的位图数据，广播至主节点和其他分布式子节点；接收统计项目和统计项目的位图数据；基于接收到的统计项目、统计项目的位图数据和为频繁1项集的目标项目的位图数据，计算目标项集是否为频繁项集；若目标项集为频繁项集，确定目标项集中各个项目之间的关联规则。这样，可以快速地得到关联规则以及项目之间的关联关系。

主权项

一种基于位图数据结构的数据分析方法，其特征在于，应用于分布式系统所包含分布式子节点中的一个分布式子节点，所述分布式系统包括：主节点和分布式子节点，所述方法包括：获得所述主节点分配的第一事务子集合，其中，所述第一事务子集合为：事务集合的子集合；获得所述事务集合中事务的总数目及所述事务集合中事务的排序；根据所述排序，确定每一目标项目对应的位图数据，其中，一个目标项目对应的位图数据的每一比特位，按照所述排序与所述事务集合中的一个事务对应，每一比特位的取值表示该比特位所对应的事务是否为该目标项目的关联事务；目标项目为：所述第一事务子集合中各个事务包含的项目；一个目标项目的关联事务为：所述事务集合中包括该目标项目的事务；分别统计每一目标项目对应的位图数据中第一数据与所述总数目之间的比例，并根据统计的比例确定目标项目中的频繁1项集，其中，所述第一数据为：位图数据中项目的关联事务对应的比特位的取值；将为频繁1项集的目标项目和为频繁1项集的目标项目的位图数据，广播至所述主节点和所述其他分布式子节点；接收统计项目和所述统计项目的位图数据，其中，所述统计项目是其他分布式子节点基于所述主节点分配的第二事务子集合统计得到的，所述第一事务子集合与各个第二事务子集合的并集为所述事务集合；基于接收到的统计项目、统计项目的位图数据和为频繁1项集的目标项目的位图数据，计算目标项集是否为频繁项集，其中，所述目标项集中包含至少两个项目；若所述目标项集为频繁项集，确定所述目标项集中各个项目之间的关联规则。