[发明专利]一种数据压缩存储处理装置及方法

权利要求书

1.一种数据压缩存储处理装置，其特征在于，包括数据获取模块、预处理模块、分类模块、压缩处理模块、调整模块、数据写入模块；所述数据获取模块，用于从数据来源处采集需要进行处理的原始数据，所述原始数据为证券市场交易过程中产生的各种数据的混合数据流；

所述预处理模块，对从数据获取模块中取得的数据进行预处理，使数据符合压缩标准，包括取绝对值和浮点取整，将符号位单独存放；所述分类模块，用于对预处理后的混合数据流进行识别和分类，分出不同的数据类型，通过类型标记位予以标记；

所述压缩处理模块，根据标记位标记的数据类型的不同，按照不同的预设方式对数据进行数据压缩处理，提高数据关联性，减少数据量；所述调整模块，能实现每个字段的需要的存储大小进行预估，根据预估存储长度的不同，对压缩后的数据分配不同默认存储长度，再根据压缩后数据的实际情况，对超过预定分配空间的数据进行动态调整，实现储存空间与数据长度相适配；

所述数据写入模块，用于将处理后的数据，写入按分配的存储空间长度的存储格式中，得到处理后的数据。

2.根据权利要求1所述的一种数据压缩存储处理装置，其特征在于，所述压缩处理模块划分为基准确定单元，差值计算单元和替换压缩单元，其中所述基准确定单元，能实现针对不同类型的数据的不同字段，选择一个恰当的数据的一个字段为数据压缩算法的基准；所述差值计算单元，能够实现将待压缩数据与基准做差，得到差值；所述替换压缩单元，能够实现将差值符号位与绝对值分开存放，将差值符号位与绝对值替换待处理数据，实现数据压缩。

3.根据权利要求2所述的一种数据压缩存储处理装置，其特征在于，所述压缩处理模块根据标记位标记的数据类型的不同，其预设对数据进行数据处理和数据替换的方式也不同，包括：基准的选择为取一个传输的具体数据值或取数据样本预测值，为第一基准；做差的方式为待压缩数据与第一基准做差，其中待压缩数据为与基准相同数据类型同一字段的数据，或者不同数据类型同一字段数据，或者不同数据类型不同但是相关的字段数据。

4.根据权利要求3所述的一种数据压缩存储处理装置，其特征在于，所述基准的选择取数据与同类型同字段的前一数据值之差，为第二基准；所述做差的方式为取待压缩数据与同类型同字段的前一数据值之差与第二基准之差。

5.根据权利要求3所述的一种数据压缩存储处理装置，其特征在于，所述调整模块能够实现：首先对每个字段的需要的存储大小进行预估，得到预估存储长度；并根据预估存储长度对字段分配默认的大、中、小三档标准存储长度作为默认存储长度；在系统运行过程开始后，对压缩处理完成的数据，首先按照默认存储长度对该字段相应的数据进行存储长度的分配；对于分配默认存储长度的数据字段，先判断该默认存储长度的数据字段长度是否小于等于默认存储长度，得到判断结果为是，则将该存储空间分配给该默认存储长度的数据字段；如果上述判断结果为否，对于默认存储长度为中、小档的数据字段，将该数据的初始分配的存储长度调大一档标准，再判断该数据长度是否小于等于新分配存储长度，该判断结果为是，则将该调整后的分配存储长度分配给该数据；如果该判断结果为否，则继续将该数据的分配的存储长度调大一档标准；当数据分配存储空间为调整到大档时，则直接判断该字段数据的实际长度，并按照实际长度进行分配空间；当数据字段默认存储空间为大档时，判断该默认存储长度的数据字段长度是否小于等于默认存储长度，如果该判断结果为是，则将该存储空间分配给该默认存储长度的数据字段；如果该判断结果为否，则判断该数据的实际长度，并按照实际长度进行分配空间。

6.根据权利要求5所述的一种数据压缩存储处理装置，其特征在于，数据的实际占有的存储长度为该数据长度作为实际存储，取同一字段最近M次实际存储长度，取平均值作为该字段的预估存储长度；将该预估存储长度与大、中、小三档标准存储长度进行比较，在大中小三档默认存储长度中进行调整。