[发明专利]基于工业大数据分析的链表数据压缩策略选择方法及系统

说明书

本发明涉及数据存储领域，具体涉及一种基于工业大数据分析的链表数据压缩策略选择方法及系统。该方法包括：统计历史链表数据，获得历史链表数据中链表数据统计信息和链表数据访问频率信息；通过预先训练好的时序预测网络对链表数据统计信息和链表数据访问频率信息进行处理分析，获得历史单词的重要程度；对实时链表数据进行关联性分析后，获取倒排索引链表大小；通过实时链表数据中的实时单词与历史单词匹配，获取实时单词的重要程度；将预设的链表压缩速度、链表解压速度、实时单词的重要程度和倒排索引链表大小送入预先训练好的分类网络中，输出匹配的压缩方法。通过对大数据分析，对实时数据选择合适的压缩策略，提高压缩效率。

技术领域

本发明涉及数据存储领域，具体涉及一种基于工业大数据分析的链表数据压缩策略选择方法及系统。

背景技术

在数据库系统中索引是检索数据最有效的方式。对于海量数据来说，使用倒排索引的方法检索数据可以在大量的数据中简单快速的找到需要的数据。

工业数据种类通常较为稳定，不存在倒排索引词典中单词种类数据大幅变动的情况。在工业数据中，包含倒排索引数据的链表数据在压缩存储过程中常常是通过人为的设定压缩策略，并沿用至整个系统。针对不同的数据和不同的存储要求而言，单一选择压缩策略会导致策略不合适，压缩率不达标的情况。

发明内容

为了解决上述技术问题，需要根据数据的种类和包含的信息自适应的选择压缩策略。本发明的目的在于提供一种基于工业大数据分析的链表数据压缩策略选择方法及系统，所采用的技术方案具体如下：

本发明提出了一种基于工业大数据分析的链表数据压缩策略选择方法，所述方法包括：

统计历史链表数据，获得所述历史链表数据中链表数据统计信息和链表数据访问频率信息；

通过预先训练好的时序预测网络对所述链表数据统计信息和所述链表数据访问频率信息进行处理分析，获得所述历史单词的重要程度；

对实时链表数据进行关联性分析后，获取倒排索引链表大小；通过所述实时链表数据中的实时单词与所述历史单词匹配，获取所述实时单词的重要程度；

将预设的链表压缩速度、链表解压速度、所述实时单词的重要程度和所述倒排索引链表大小送入预先训练好的分类网络中，输出匹配的压缩方法。

进一步地，所述链表数据统计信息包括命中信息，所述命中信息的获取方法包括：

以所述历史链表数据中出现所述历史单词的文档数目和所述文档的总数的比值为所述单词的命中率；以所述命中率作为所述命中信息。

进一步地，所述链表数据统计信息包括，所述位置信息的获取方法包括：

获得所述历史单词的倒排项；

以所述历史单词在所述倒排项中的所述位置总和与所述倒排项对应的所述文档的单词数量的比值作为位置分布指标；所述位置总和为所述历史单词在文档中出现的位置编号的总和；

以所述位置分布指标的标准差作为所述位置信息。

进一步地，所述对实时链表数据和所述历史链表数据进行关联性分析方法为：

将所述实时链表数据中的数据段利用SVS算法进行比对，反馈比对信号；当所述比对信号为反映两个所述数据段相同时，则保留任意一段数据段；当所述比对信号反映两个所述数据段不同时，则保留两个所述数据段。

进一步地，所述分类网络在选择压缩策略后，计算当前所述压缩策略的压缩率，将所述压缩率作为真实标注数据反馈给所述分类网络。

本发明还提出了一种基于工业大数据分析的链表数据压缩策略选择系统，所述系统包括：历史数据处理模块、单词重要程度获取模块、实时数据处理模块和压缩方法选择模块；