[发明专利]一种历史数据库的压缩方法

摘要

本发明公开了一种历史数据库的压缩方法，其特征在于，包括如下步骤：步骤1、将行式数据库转化为列式数据库，具体为：1a)分表；1b)拼装；步骤2、进行分段线性拟合有损压缩；步骤3、整理数据文件；步骤4、进行数据文件的无损压缩并整理索引，组成完整的两级压缩后的列式数据库。针对现有数据库的特点，分两级压缩，先采取分段线性拟合的有损压缩的方式，后采取数字字典的无损压缩方式，将数据压缩并节省所占用的空间，以满足现代综合监控系统对保存的历史数据的时间长度越来越久的要求，并将误差保持在一定的误差精度范围内。

主权项

1.一种历史数据库的压缩方法，其特征在于，包括如下步骤：步骤1、将行式数据库转化为列式数据库，具体为：1a)分表：将原有包含若干个测点数据的一个数据库表，分成若干个数据库表，其中，每个数据库表中仅含有单个测点的数据，且数据项是按照原有时间顺序排列；1b)拼装：假设分表后获得M行数据，每行数据具有W个字段，则将M行数据按照次序整合为一行，其中，先按照次序存储M行数据的第一个字段，最后按照次序存储M行数据的第W个字段，获得列式数据库；步骤2、进行分段线性拟合有损压缩；步骤3、整理数据文件保持各个列式数据文件的一致性；步骤4、进行数据文件的无损压缩并整理索引，组成完整的两级压缩后的列式数据库；步骤2中，设时间片为Tp，对应的数据片为P1,P2…Pn，数据片的起止两点为P1和Pn，误差上限为δ，则分段线性拟合的过程是采用四点三段或三点两段分割法来分割并拟合P1,P2…Pn组成数据片段PS，具体为：1a)四点三段分割法：将数据片的起止两点P1与Pn连接成线段L后，L左右两侧的误差最大点分别为Pj，Pk两点，如果Pj和Pk到L的距离误差ΔPj和ΔPk中至少有一个超过误差上限δ，则根据P1，Pj，Pk，Pn四点将数据分割成PS1＝P1…Pj,PS2＝Pj…Pk,PS3＝Pk…Pn三个子数据片段；如果Pj和Pk到L的距离误差均未超过误差上限δ，则线段L为P1…Pn的拟合线段；1b)若所有数据点均在L的一侧，则为三点两段分割法：将数据片的起止两点P1与Pn连接成线段L后，所有数据点均在L的一侧且误差最大点为Pj点，若Pj到L的距离误差ΔPj超过误差上限δ，则根据P1，Pj，Pn三点将数据分割成PS1＝P1…Pj,PS2＝Pj…Pn两个子数据片段；如果Pj到L的距离误差未超过误差上限δ，则线段L为P1…Pn的拟合线段；2)将分割好的子数据片段PS1，PS2，PS3，按照步骤1a)或1b)的方法递归继续分割并作线段拟合，直至各个子数据片段均完成线段拟合；3)将时间片Tp按上述分割方法分割的各级子数据片段完成的拟合线段按时间顺序拼接成拟合折线，与下一个时间片Tp’用同样方法拟合的折线按照时间顺序拼接，依次类推，实现单测点数据的全时域的分段线性压缩。