[发明专利]基于压缩数据直接计算的数据库方法、系统、设备和介质

权利要求书

1.一种基于压缩数据直接计算的数据库方法，其特征在于，包括以下步骤：

按照存储系统的数据粒度对待压缩的文件进行分块，并对得到的各数据块进行压缩后，存储到存储系统中；

采用自底向上的压缩数据处理方法，在不解压的情况下，对存储系统中的压缩数据进行处理操作；

所述按照存储系统的数据粒度对待压缩的文件进行分块，并对得到的各数据块进行压缩后，存储到存储系统中的方法，包括以下步骤：

1.1）将待压缩的文件进行分块，得到若干数据块；

1.2）根据待写入数据块中的数据，在哈希表中进行查找，并根据待写入数据块中的数据是否存在被重复数据块，若存在则进入步骤1.3），否则进入步骤1.4）；

1.3）判断待写入数据块是否只被引用一次，若是，则增加被重复数据块的引用计数，将指向待写入数据块的指针指向该重复数据块，并且释放掉待写入数据块，删除哈希表中的记录；若待写入数据块已被引用一次以上，则不能释放待写入数据块，并减少其引用次数；

1.4）判断待写入数据块是否只被引用一次，若是，则删除哈希表中的记录释放待写入数据块，并修改哈希表中对应的记录；若已被引用一次以上，则减少待写入数据块修改前内容的引用计数，并分配一个新数据块来存储待写入数据块，同时将待写入数据块的指针指向新的数据块；

1.5）采用改进的Sequitur压缩方法对各数据块进行压缩，同时按照预设规则对生成的有向无环图结构和深度进行限制后得到有向无环图，存储到存储系统中；

其中，采用改进的Sequitur压缩方法对数据块进行压缩时，假设条件为：存储系统中最小的操作元素为存储数据的数据块；而规则是存储有指向其他子规则或数据块的指针；整个文件被抽象成一个指向规则或数据块的指针组成的序列，而序列中的每个规则又由若干指向子规则或数据块的指针组成，形成一个有向无环图。

2.如权利要求1所述的一种基于压缩数据直接计算的数据库方法，其特征在于，所述预设规则为：除了叶子节点外，其它节点只能有一个父节点。

3.如权利要求1所述的一种基于压缩数据直接计算的数据库方法，其特征在于，所述对存储系统中的压缩数据进行处理的操作包括：插入、删除、提取、更新、搜索、附加和计数。

4.如权利要求3所述的一种基于压缩数据直接计算的数据库方法，其特征在于，所述插入操作包括：

根据插入操作指令，判断数据块是否对齐，也即判断插入位置以及插入的数据长度是否同时为存储系统中数据块大小的倍数；

若数据块对齐，则根据插入位置确定其在有向无环图中所对应的规则位置；若插入位置处的规则是未满的，则直接将对应该待插入新元素的指针添加到该规则中；若插入位置处的规则已满，则将该对应位置处的规则或其父规则进行分裂，并将待插入新元素的指针添加到新规则中；

若数据块未对齐时，则引入空洞结构，并将所述空洞结构与待插入的新元素结合起来使得二者构成的整体大小是数据块大小的整数倍；然后采用上述步骤中相同方法将空洞结构和待插入的新元素作为整体插入到有向无环图中的某一规则当中。

5.如权利要求3所述的一种基于压缩数据直接计算的数据库方法，其特征在于，所述删除操作包括：

根据删除操作指令，判断删除位置以及要删除的数据长度是否同时为存储系统中数据块的大小的倍数；

当数据块对齐时，则根据删除位置确定其在有向无环图中所对应的规则位置，然后根据删除的数据长度在对应规则位置处删除相应数据；

当数据块未对齐时，通过引入空洞结构，将所述空洞结构与待删除的数据结合起来使得它们构成的整体大小是数据块大小的倍数，并把所述空洞结构和待删除的数据作为整体从有向无环图中所对应的规则中删除。

6.如权利要求3所述的一种基于压缩数据直接计算的数据库方法，其特征在于，所述搜索操作包括三个阶段：

块内搜索，根据待搜索的目标数据段在文件的每一数据块中进行搜索，并统计出目标数据段在所有数据块中出现的位置；

跨块搜索，根据待搜索的目标数据段在文件的每两个相邻的数据块中进行搜索，并统计目标数据段的出现位置；

合并阶段，对块内搜索和跨块搜索的结果进行合并，并返回最终搜索结果。