[发明专利]一种海量不完整数据存储及操作方法

说明书

技术领域

本发明涉及一种海量不完整数据存储及操作方法，属于大数据技术领域。

背景技术

近年来，随着互联网的快速发展，数据规模不断增加，机器故障和人为因素会导致数据丢失，形成海量不完整数据，这些问题严重地制约着数据的应用价值因此，对属性值有缺失的海量数据进行存储和操作，具有现实意义。

目前对不完整数据往往采用属性缺失填充法,但是这种预测填充的方法往往也会导致数据的错误。对于海量数据而言，先进行数据清洗再操作数据存在较多的弊端。首先，对海量数据进行清洗的时间开销过大；其次，清洗的结果会受到不确定因素的影响，因此可能会引入新的“噪声”导致清洗结果并不准确；最后，数据清洗还会带来时效性问题，导致很多时效数据将失去意义。本文研究的是忽略数据清洗直接对海量不完整数据进行压缩以及操作，而现有的方法多是对完备数据的处理。因此设计一种效率更高的适用于不完整数据处理方法：基于压缩的海量不完整数据的存储及操作方法(compression-based for operated method massive incompletedata，OM-MI)，该方法可以快速地定位操作数据的压缩位置，提高操作效率，还能够大幅度地减少存储空间。

而对于海量数据的压缩，通常采用编码字典的方式，此类方法通过对数据进行按列存储，将对原始数据的处理转化为对压缩编码位的操作。采用这种编码字典方法可以实现无解压直接查询，提高了效率，但是增加了匹配字典和维护字典的代价，通常在操作不频繁的系统中使用。就目前的海量不完整数据的存储和操作方法而言，存在很多方面的不足。现有方法多是先清洗再处理，然而海量数据的清洗代价过大，同时导致数据丢失和时效性问题。因此，提出OM-MI方法，越过数据清洗直接对海量不完整数据进行操作，该方法可以大幅度地减少存储空间，快速地定位压缩文件，提高操作效率。

发明内容

本发明针对现有技术的不足，本发明提供一种海量不完整数据的存储及操作方法。

本发明的是通过下述技术方案实现的：一种海量不完整数据存储及操作方法，其特征在于，包括如下步骤：

(1)在海量不完整数据存储时，对完整数据和不完整数据分别进行压缩存储，其实现步骤如下：

(1.1)对于一个海量数据库系统，经过统计后获得频繁使用的数据操作语句，即查询语句中WHERE后出现的谓词，将这些谓词分为确定性谓词Def_Val和不确定谓词Undef_val；

其中，确定性谓词Def_val是指操作下发前已经确定的谓词，一般为频繁使用的固定范围操作，如“Age>55”。确定性谓词的属性名和属性值固定，作为一个整体出现。

不确定谓词Undef_Val是指操作下发前不能完全确定的谓词，一般为频繁使用的不固定等值操作，这类谓词某一属性值是否存在于记录中，如“Name＝***”。不确定谓词的属性名固定，属性值可变。

(1.2)获得所有确定性谓词和不确定谓词后，在压缩存储时将每一条元组所满足的不确定谓词的属性值和确定性谓词作为索引存储于数据中，同时将元组存放到相应的待压缩缓存块中；当某一缓存块装满后，将其按顺序进行压缩存储，并在数据库中存储元组所在压缩文件地址；

索引表包括如下字段属性：Id、Tp_Id、Undef_val_I……Undef_val_i、Def_Val、Block_Id、Delet_Flag、Com_Flag；

其中Id为索引序号；Tp_Id为元组序号；字段Undef_Val_i为当前元组第i个不确定谓词的属性值；字段Def_Val以位编码形式存储当前元组所满足的确定性谓词；

Block_Id为当前元组所在缓存块的序号；

Delet_Flag为删除标志位,数据需要删除则置为1,否则为0；

Com_Flag为数据元组完整性标志位,元组时完整的则置为1,否则为0；

压缩文件地址表包括如下字段属性：Block_Id、Address；其中，Block_Id为当前元组所在缓存块的序号，字段Address为缓存块压缩后对应的压缩文件；