[发明专利]一种基于位图数据结构的数据分析方法及装置

说明书

本发明实施例提供了一种基于位图数据结构的数据分析方法及装置，该方法包括：获得主节点分配的第一事务子集合；获得总数目及排序；根据排序确定每一目标项目的位图数据；统计每一目标项目的位图数据中第一数据与总数目之间的比例，根据统计的比例确定目标项目中的频繁1项集；将为频繁1项集的目标项目和为频繁1项集的目标项目的位图数据，广播至主节点和其他分布式子节点；接收统计项目和统计项目的位图数据；基于接收到的统计项目、统计项目的位图数据和为频繁1项集的目标项目的位图数据，计算目标项集是否为频繁项集；若目标项集为频繁项集，确定目标项集中各个项目之间的关联规则。这样，可以快速地得到关联规则以及项目之间的关联关系。

技术领域

本发明涉及数据挖掘技术领域，特别是涉及一种基于位图数据结构的数据分析方法及装置。

背景技术

随着数据爆炸式地增长，人们越来越迫切地想要从大量已有数据中挖掘出有价值的信息，进而根据这些有价值的信息制定相应的决策。

例如，对于大型零售商场而言，这些商场每年都会产生数以万计的交易记录，其中，每条交易记录对应有一个订单号，一个订单号对应有多个物品名。然而，在未经数据挖掘之前，人们无法得到在交易过程中各个物品之间的关联规则(例如买咖啡的人中，60％的人同时还买了糕点)。而通过数据挖掘后，便可挖掘得到交易过程中各个物品之间的购买关系，即各个物品之间的关联规则，进而可以根据得到的关联规则为商场的营销决策提供支持。

其中，在数据挖掘过程中，常常通过该大型零售商场中的一条交易记录得到一个事务，并将该大型零售商场中不同的物品记为不同的项目。具体地，针对每条交易记录而言，可以将该条交易记录对应的订单号作为对应事务的事务标识，并将该订单号对应的每一种物品名作为该事务的一个项目。这样，对于该大型零售商场一年的交易记录而言，可以得到由多个事务构成的事务集合，且每个事务中可以包含一个或多个项目。然后，利用频繁项集挖掘算法：ECLAT算法来挖掘出事务集合中的频繁项集，进而，再根据频繁项集计算出各个项目之间的关联规则。

具体地，假设事务集合中存在10000个事务，利用ECLAT算法计算得到：该事务集合中项集{项目A，项目B}出现了100次，即项目A和项目B同时出现的次数为100次。从而，可以算出项集{项目A，项目B}出现的概率为0.01，即项集{项目A，项目B}的支持度为0.01。若0.01大于预设最小支持度，那么项集{项目A，项目B}即为频繁2项集，进而可以根据该频繁2项集{项目A，项目B}计算出项目A和项目B之间的关联关系。

但是，发明人发现，在使用ECLAT算法计算频繁项集的过程中，需要利用项目B与每个包含项目A的事务中每个项目进行匹配，若匹配成功，则表明包含项目A的事务中也包含事务B，此时对项集{项目A，项目B}出现的次数增一。然后，利用项目A与每个包含项目B的事务中每个项目进行匹配，若匹配成功，则表明包含项目B的事务中也包含事务A此时对项集{项目A，项目B}出现的次数增一，这样，可以统计得到项集{项目A，项目B}出现的次数。但是，这种的匹配速度非常慢，从而使得获得关联规则的速度较慢。

发明内容

本发明实施例的目的在于提供一种基于位图数据结构的数据分析方法及装置，以快速地分析得到关联规则，从而快速获得项目之间的关联关系。

第一方面，本发明实施例提供了一种基于位图数据结构的数据分析方法，应用于分布式系统所包含分布式子节点中的一个分布式子节点，该分布式系统包括：主节点和分布式子节点，该方法可以包括：

获得主节点分配的第一事务子集合，其中，第一事务子集合为：事务集合的子集合；

获得事务集合中事务的总数目及事务集合中事务的排序；