[发明专利]一种基于概率的大数据查询方法

摘要

本发明公开一种基于概率的大数据查询方法，属于数据库技术领域。该方法包括根据数据模型，对具有多个属性的数据集进行划分的步骤；将划分后的数据集按照数据概率放置模型进行装载的步骤；对数据集进行概率查询的步骤。该方法为一种近似完整性的查询方法，通过适当地损失查询完整性来提高数据的查询性能；通过一种基于概率的数据放置模型，实现了数据的概率放置以及数据在各个存储文件存在概率的求解；通过一种启发式数据查询方法，使得数据库系统可以通过查全概率来查询数据；且通过概率计算保证了概率查询的查询误差。

主权项

一种基于概率的大数据查询方法，其特征在于：包括以下步骤：步骤1：对具有多个属性的数据集进行划分；步骤2：对经过划分后的数据集进行装载；步骤3：对数据集进行概率查询；所述的步骤1包括如下步骤：步骤1.1：选择数据集的一个或者多个属性作为数据集的查询属性，给定每个查询属性值域的等宽划分粒度；步骤1.2：填补数据集中查询属性取值空缺的数据，通常情况下，将这些查询属性的取值设为该查询属性在其值域的最小值、最大值或者空值；步骤1.3：判断查询属性取值的数据类型，查询属性取值的数据类型共有数值和文本两种类型，如果是数值类型，则执行步骤1.4，如果是文本类型，则执行步骤1.5；步骤1.4：按照查询属性取值的大小进行排序，根据查询属性的划分粒度对查询属性进行等宽划分，继续执行步骤1.6；步骤1.5：按照查询属性取值首字母的字典序进行排序，根据查询属性的划分粒度对查询属性进行等宽划分，继续执行步骤1.6；步骤1.6：将各个维的维信息存储在分布式文件系统中，维信息主要包括维名称、维值取值类型以及维的划分粒度。