[发明专利]基于工业大数据分析的链表数据压缩策略选择方法及系统

权利要求书

1.一种基于工业大数据分析的链表数据压缩策略选择方法，其特征在于，所述方法包括：

统计历史链表数据，获得所述历史链表数据中链表数据统计信息和链表数据访问频率信息；

通过预先训练好的时序预测网络对所述链表数据统计信息和所述链表数据访问频率信息进行处理分析，获得所述历史单词的重要程度；

对实时链表数据进行关联性分析后，获取倒排索引链表大小；通过所述实时链表数据中的实时单词与所述历史单词匹配，获取所述实时单词的重要程度；

将预设的链表压缩速度、链表解压速度、所述实时单词的重要程度和所述倒排索引链表大小送入预先训练好的分类网络中，输出匹配的压缩方法。

2.根据权利要求1所述的一种基于工业大数据分析的链表数据压缩策略选择方法，其特征在于，所述链表数据统计信息包括命中信息，所述命中信息的获取方法包括：

以所述历史链表数据中出现所述历史单词的文档数目和所述文档的总数的比值为所述单词的命中率；以所述命中率作为所述命中信息。

3.根据权利要求1所述的一种基于工业大数据分析的链表数据压缩策略选择方法，其特征在于，所述链表数据统计信息包括，所述位置信息的获取方法包括：

获得所述历史单词的倒排项；

以所述历史单词在所述倒排项中的所述位置总和与所述倒排项对应所述文档中所述历史单词出现次数的比值作为位置分布指标；所述位置总和为所述历史单词在文档中出现的位置编号的总和；

以所述位置分布指标的标准差作为所述位置信息。

4.根据权利要求1所述的一种基于工业大数据分析的链表数据压缩策略选择方法，其特征在于，所述对实时链表数据和所述历史链表数据进行关联性分析方法为：

将所述实时链表数据中的数据段利用SVS算法进行比对，反馈比对信号；当所述比对信号为反映两个所述数据段相同时，则保留任意一段数据段；当所述比对信号反映两个所述数据段不同时，则保留两个所述数据段。

5.根据权利要求1所述的一种基于工业大数据分析的链表数据压缩策略选择方法，其特征在于，所述分类网络在选择压缩策略后，计算当前所述压缩策略的压缩率，将所述压缩率作为真实标注数据反馈给所述分类网络。

6.一种基于工业大数据分析的链表数据压缩策略选择系统，其特征在于，所述系统包括：历史数据处理模块、单词重要程度获取模块、实时数据处理模块和压缩方法选择模块；

所述历史数据处理模块用于统计历史链表数据，获得所述历史链表数据中链表数据统计信息和链表数据访问频率信息；

所述单词重要程度获取模块用于通过预先训练好的时序预测网络对所述链表数据统计信息和所述链表数据访问频率信息进行处理分析，获得所述历史单词的重要程度；

所述实时数据处理模块用于对实时链表数据进行关联性分析后，获取倒排索引链表大小；通过所述实时链表数据中的实时单词与所述历史单词匹配，获取所述实时单词的重要程度；

所述压缩方式选择模块用于将预设的链表压缩速度、链表解压速度、所述实时单词的重要程度和所述倒排索引链表大小送入预先训练好的分类网络中，输出匹配的压缩方法。

7.根据权利要求6所述的一种基于工业大数据分析的链表数据压缩策略选择系统，其特征在于，所述历史数据处理模块还包括命中率获取模块；

所述命中率获取模块用于以所述历史链表数据中出现所述历史单词的文档数目和所述文档的总数的比值为所述单词的命中率；以所述命中率作为所述命中信息。

8.根据权利要求6所述的一种基于工业大数据分析的链表数据压缩策略选择系统，其特征在于，所述历史数据处理模块还包括位置信息获取模块；

所述位置信息获取模块用于获得所述历史单词的倒排项；以所述历史单词在所述倒排项中的所述位置总和与所述倒排项对应所述文档中所述历史单词出现次数的比值作为位置分布指标；所述位置总和为所述历史单词在文档中出现的位置编号的总和；以所述位置分布指标的标准差作为所述位置信息。

9.根据权利要求6所述的一种基于工业大数据分析的链表数据压缩策略选择系统，其特征在于，所述实时数据处理模块还包括SVS算法模块；

所述SVS算法模块用于将所述实时链表数据中的数据段利用SVS算法进行比对，反馈比对信号；当所述比对信号为反映两个所述数据段相同时，则保留任意一段数据段；当所述比对信号反映两个所述数据段不同时，则保留两个所述数据段。