[发明专利]数据压缩方法、装置及计算机可读存储介质

权利要求书

1.一种数据压缩方法，其特征在于，所述方法包括：

获取基于物联网设备在传输过程中所产生的消息数据集，识别出所述消息数据集中的字符集，并将所述字符集作为初始字符集；

计算所述初始字符集中每个字符的频率，根据所述字符的频率按预设的方式筛选出所述消息数据集中的冗余数据集，识别所述冗余数据集中的标准字符集，对所述标准字符集中的字符进行编码，得到字符码表；

利用所述字符码表计算将所述冗余数据集中的字符最小路径长度，根据所述字符最小路径长度对所述冗余数据集进行压缩。

2.如权利要求1所述的数据压缩方法，其特征在于，所述识别出所述消息数据集中的字符集包括：

利用最短路径算法识别出所述消息数据集中的单词字符集；

通过字符识别算法识别出所述消息数据集中的符号字符集；

将所述单词字符集和符号字符集进行组合得到所述字符集。

3.如权利要求2所述的数据压缩方法，其特征在于，所述利用最短路径算法识别出所述消息数据集中的单词字符集，包括：

通过自定义词典构造单词切分有向无环图，在所述单词切分有向无环图的起点到终点所有路径中，计算出单词长度值的路径集合，根据预设的方式获取所述路径集合中所包含的单词字符集。

4.如权利要求2所述的数据压缩方法，其特征在于，所述通过字符识别算法识别出所述消息数据集中的符号字符集，包括：

预设字符数据库模板，利用字符匹配技术将所述字符数据库模板与所述消息数据集进行匹配，并将匹配成功的所述消息数据集中的符号字符进行抽取，得到符号字符集。

5.如权利要求1所述的数据压缩方法，其特征在于，所述计算所述初始字符集中每个字符的频率，包括：

利用下述公式计算所述初始字符集中每个字符的频率：

其中，f_i表示初始字符i出现的频率，n_i表示在初始字符集中字符i的个数，v表示初始字符集中所有字符的个数。

6.如权利要求1所述的数据压缩方法，其特征在于，所述对所述标准字符集进行编码，得到字符码表，包括：

预设所述标准字符集的序号字符集，获取所述标准字符集与所述序号字符集之间的一一对应关系，根据所述一一对应关系计算所述标准字符集中每个标准字符的概率，根据所述每个标准字符的概率形成所述对应标准字符的编码号，根据所述编码号建立所述字符码表。

7.如权利要求1至6中任意一项所述的数据压缩方法，其特征在于，所述利用所述字符码表计算将所述冗余数据集中的字符最小路径长度，包括：

利用下述公式计算所述冗余数据集中的字符最小路径长度：

其中，MIN WPL表示字符最小路径长度，w_k表示第k个字符码表中的字符权重，l_k表示第k个字符码表中的字符偏置，n表示字符码表中的字符数量。

8.一种数据压缩装置，其特征在于，所述装置包括：

识别模块，用于获取基于物联网设备在传输过程中所产生的消息数据集，识别出所述消息数据集中的字符集，并将所述字符集作为初始字符集；

计算及筛选模块，用于计算所述初始字符集中每个字符的频率，根据所述字符的频率按预设的方式筛选出所述消息数据集中的冗余数据集，识别所述冗余数据集中的标准字符集；

编码模块，用于对所述标准字符集中的字符进行编码，得到字符码表；

压缩模块，用于利用所述字符码表计算将所述冗余数据集中的字符最小路径长度，根据所述字符最小路径长度对所述冗余数据集进行压缩。