[发明专利]一种基于位图数据结构的数据分析方法及装置

权利要求书

1.一种基于位图数据结构的数据分析方法，其特征在于，应用于分布式系统所包含分布式子节点中的一个分布式子节点，所述分布式系统包括：主节点和分布式子节点，所述方法包括：

获得所述主节点分配的第一事务子集合，其中，所述第一事务子集合为：事务集合的子集合；

获得所述事务集合中事务的总数目及所述事务集合中事务的排序；

根据所述排序，确定每一目标项目对应的位图数据，其中，一个目标项目对应的位图数据的每一比特位，按照所述排序与所述事务集合中的一个事务对应，每一比特位的取值表示该比特位所对应的事务是否为该目标项目的关联事务；目标项目为：所述第一事务子集合中各个事务包含的项目；一个目标项目的关联事务为：所述事务集合中包括该目标项目的事务；

分别统计每一目标项目对应的位图数据中第一数据与所述总数目之间的比例，并根据统计的比例确定目标项目中的频繁1项集，其中，所述第一数据为：位图数据中项目的关联事务对应的比特位的取值；

将为频繁1项集的目标项目和为频繁1项集的目标项目的位图数据，广播至所述主节点和其他分布式子节点；

接收统计项目和所述统计项目的位图数据，其中，所述统计项目是其他分布式子节点基于所述主节点分配的第二事务子集合统计得到的，所述第一事务子集合与各个第二事务子集合的并集为所述事务集合；

基于接收到的统计项目、统计项目的位图数据和为频繁1项集的目标项目的位图数据，计算目标项集是否为频繁项集，其中，所述目标项集中包含至少两个项目；

若所述目标项集为频繁项集，确定所述目标项集中各个项目之间的关联规则；

所述根据所述排序，确定每一目标项目对应的位图数据的步骤，包括：

针对每一目标项目，基于所述第一事务子集合中包括该目标项目的事务、第二事务子集合中包括该目标项目的事务和预设的映射关系，将包括该目标项目的事务对应的比特位的取值设置为第一数据，将不包括该目标项目的事务对应的比特位的取值设置为第二数据，得到该目标项目的位图数据，其中，所述映射关系为：按照所述排序确定的、位图数据中比特位与所述事务集合中事务的对应关系。

2.根据权利要求1所述的方法，其特征在于，所述第一数据为1，所述第二数据为0。

3.根据权利要求1所述的方法，其特征在于，在所述计算目标项集是否为频繁项集的步骤之前，所述方法还包括：

接收所述主节点发送的针对目标项集的统计指令。

4.根据权利要求1所述的方法，其特征在于，在所述根据所述排序，确定每一目标项目对应的位图数据的步骤之后，所述方法还包括：

将每一目标项目对应的位图数据压缩为压缩位图数据；

所述将为频繁1项集的目标项目和为频繁1项集的目标项目的位图数据，广播至所述主节点和所述其他分布式子节点的步骤，包括：

将为频繁1项集的目标项目和为频繁1项集的目标项目的压缩位图数据，广播至所述主节点和所述其他分布式子节点。