[发明专利]一种数据压缩存储处理装置及方法

摘要

本发明涉及一种数据压缩存储处理装置及方法，用于实现多种数据类型在混合传输的情况下的压缩与存储；主要包括对获取到的数据进行预处理，使数据符合压缩标准；数据识别和分类，通过类型标记位标记不同数据类型；根据标记位标记的数据类型的不同，按照不同的预设方式对数据进行数据压缩处理；对压缩后的数据分配默认存储长度，并根据实际数据大小进行对存储长度进行调整；将压缩处理后的数据写入分配的存储空间中。本发明在数据序列“连续性”较为显著时，可获得较大的压缩效率；且本方法针对不同的数据类型自动识别与适配，提高了数据传输的效率，保证了数据传输的精度；同时实现存储长度的动态调整与自适应，减少数据存储的空间，实现无损压缩。

主权项

1.一种数据压缩存储处理装置，其特征在于，包括数据获取模块、预处理模块、分类模块、压缩处理模块、调整模块、数据写入模块；所述数据获取模块，用于从数据来源处采集需要进行处理的原始数据，所述原始数据为证券市场交易过程中产生的各种数据的混合数据流；所述预处理模块，对从数据获取模块中取得的数据进行预处理，使数据符合压缩标准，包括取绝对值和浮点取整，将符号位单独存放。所述分类模块，用于对预处理后的混合数据流进行识别和分类，分出不同的数据类型，通过类型标记位予以标记；所述压缩处理模块，根据标记位标记的数据类型的不同，按照不同的预设方式对数据进行数据压缩处理，提高数据关联性，减少数据量；所述调整模块，能实现每个字段的需要的存储大小进行预估，根据预估存储长度的不同，对压缩后的数据分配不同默认存储长度，再根据压缩后数据的实际情况，对超过预定分配空间的数据进行动态调整，实现储存空间与数据长度相适配。所述数据写入模块，用于将处理后的数据，写入按分配的存储空间长度的存储格式中，得到处理后的数据。