[发明专利]一种不确定数据的数据存储方法

说明书

技术领域

本发明属于数据存储技术领域，具体涉及一种不确定数据的数据存储方法。

背景技术

近些年，随着互联网的迅猛发展与数据采集技术的不断提高，人们可获得的数据量越来越大，这为大数据环境下特定信息的查询与管理带来了新的挑战。与此同时，由于数据感知设备的误差或对敏感信息的隐私保护，军事、物流、金融等领域所获得的数据往往不能准确描述数据的特征，即所获得数据具有不确定性。不确定数据是指真实获得的、不精确的、没有确定取值的数据，如GPS定位数据、全国人口总数数据等。相比于确定性数据，不确定数据最大的特点在于同一个数据对应多个可能的取值，对于同类型的数据，不确定数据规模远大于确定性数据规模。以移动通信运营商记录用户3G上网情况为例，用户每次连接3G网络直至断开为一次上网记录，每条记录中都需要记录用户的姓名、手机号码、连接时间、结束时间、所用流量、连接网络时用户坐标、断开网络时用户坐标、连接网络期间用户移动路径等信息，而由于硬件设备的局限以及对个人隐私信息的保护，获得的用户地理位置信息存在着不确定性，每条记录中每个用户位置信息都可能对应一个甚至多个可能的坐标值，这为对用户行为的分析带来了巨大挑战。

为解决迅速增长的海量不确定数据的存储问题，相关学者提出了不确定数据模型的概念，在已经成熟的关系型数据模型基础上提供对不确定数据存储的支持。现有不确定数据存储多采取类关系型的键值对数据结构存储不确定数据。这种存储方式虽在模型实现、操作层面上具有简单、便捷的特点，但其仅适用于单一类型的不确定数据，对于不同级别不确定数据并存的情况，如属性级不确定数据与记录级不确定数据并存，现有模型未能提供有效的应对策略，导致存储模型结构单一、僵化，可扩展性不足。同时，由于现有数据存储结构低效，没有高效合理的索引结构辅助数据查询过程，现有模型不能以较低的空间与时间开销实现从已有确定数据向不确定数据的转换，难以满足大数据环境下不确定数据查询与分析情景的应用需求。

发明内容

针对现有技术的不足，本发明提出一种不确定数据的数据存储方法。

本发明技术方案如下：

一种不确定数据的数据存储方法，包括以下步骤：

步骤1：根据待存储的每条不确定数据记录的不确定情况创建该记录的记录级不确定性元组；

步骤2：将每条不确定数据记录中包含的所有不确定数据项按属性名称划分，根据属性名称分别创建该属性名称的属性单元，组成每条不确定数据记录的属性单元集合，其中，各属性单元包含与该属性名称相关的所有不确定数据项；

步骤3：根据属性单元集合中各个属性单元的属性名称创建属性包含单元，属性包含单元记录当前记录中包含的所有属性名称；

步骤4：为每条不确定数据记录创建行键；

步骤5：将每条不确定数据记录的记录级不确定性元组、属性单元集合、属性包含单元与行键整合为一条完整的不确定数据记录的逻辑表示；

步骤6：重复步骤1至步骤5，将所有不确定数据记录的逻辑表示整合为不确定数据逻辑模型；

步骤7：将不确定数据逻辑模型及对应的每条不确定数据记录的记录级不确定性元组、属性单元集合、属性包含单元与行键进行存储，并对不确定数据逻辑模型以属性名称为索引项建立属性索引树：属性索引树的节点对应属性名称的集合，一个叶子节点对应一个属性名称，叶子节点为行键的集合，行键的集合记录着不确定数据逻辑模型中所有含有该叶子节点对应属性名称的不确定数据记录；

步骤8：遍历不确定数据逻辑模型中的所有不确定数据记录，根据不确定数据记录间的生成规则创建生成规则矩阵Matrix_rules；

步骤8.1：遍历不确定数据逻辑模型中的所有不确定数据记录，查找不确定数据记录间的生成规则，若两条记录中存在多种生成规则的整合为一种新的生成规则，放入生成规则集合S_rules中；

步骤8.2：根据不确定数据记录间的生成规则创建生成规则矩阵Matrix_rules：将生成规则集合S_rules中的行键作为行值和列值，生成规则作为其对应的内容，创建生成规则矩阵Matrix_rules；

步骤9：当查询不确定数据时，根据查询语句的条件属性，利用不确定数据逻辑模型进行查询操作；