[发明专利]数据压缩方法、装置及计算机可读存储介质

说明书

本发明涉及一种大数据技术，揭露了一种数据压缩方法，包括：获取基于物联网设备在传输过程中所产生的消息数据集，识别出所述消息数据集中的字符集，并将所述字符集作为初始字符集；计算所述初始字符集中每个字符的频率，根据所述字符的频率按预设的方式筛选出所述消息数据集中的冗余数据集，识别所述冗余数据集中的标准字符集，对所述标准字符集中的字符进行编码，得到字符码表；利用所述字符码表计算将所述冗余数据集中的字符最小路径长度，根据所述字符最小路径长度对所述冗余数据集进行压缩。本发明还提出一种数据压缩装置、电子设备以及一种计算机可读存储介质。本发明实现了冗余数据的压缩，以减少存储空间的浪费。

技术领域

本发明涉及大数据技术领域，尤其涉及一种数据压缩方法、装置及计算机可读存储介质。

背景技术

目前物联网业务场景的消息系统将物联网设备在传输过程中所产生的所有消息数据放入DB数据库或文件中，存储介质再对所述消息数据进行压缩存放。通常物联网设备传输的消息中存在很多冗余的设备数据，这些设备数据很大部分是不变或者变化很少，目前对于所述冗余的设备数据人们往往将其保存在磁盘空间中，由于物联网场景中产生的数据量非常庞大，很容易造成磁盘空间的内存不足，给后期带来维护上的不便以及成本的增加。

发明内容

本发明提供一种数据压缩方法、装置及计算机可读存储介质，其主要目的在于提供一种在物联网设备传输过程中所产生的冗余数据进行压缩处理的技术方案。

为实现上述目的，本发明提供的一种数据压缩方法，包括：

获取基于物联网设备在传输过程中所产生的消息数据集，识别出所述消息数据集中的字符集，并将所述字符集作为初始字符集；

计算所述初始字符集中每个字符的频率，根据所述字符的频率按预设的方式筛选出所述消息数据集中的冗余数据集，并得到所述冗余数据集的标准字符集，对所述标准字符集中的字符进行编码，得到字符码表；

利用所述字符码表计算将所述冗余数据集中的字符最小路径长度，根据所述字符最小路径长度对所述冗余数据集进行压缩。

可选地，所述识别出所述消息数据集中的字符集包括：

利用最短路径算法识别出所述消息数据集中的单词字符集；

通过字符识别算法识别出所述消息数据集中的符号字符集；

将所述单词字符集和符号字符集进行组合得到所述字符集。

可选地，所述利用最短路径算法识别出所述消息数据集中的单词字符集，包括：

通过自定义词典构造单词切分有向无环图，在所述单词切分有向无环图的起点到终点所有路径中，计算出单词长度值的路径集合，根据预设的方式获取所述路径集合中所包含的单词字符集。

可选地，所述通过字符识别算法识别出所述消息数据集中的符号字符集，包括：

预设字符数据库模板，利用字符匹配技术将所述字符数据库模板与所述消息数据集进行匹配，并将匹配成功的所述消息数据集中的符号字符进行抽取，得到符号字符集。

可选地，所述计算所述初始字符集中每个字符的频率，包括：

利用下述公式计算所述初始字符集中每个字符的频率：

其中，f_i表示初始字符i出现的频率，n_i表示在初始字符集中字符i的个数，v表示初始字符集中所有字符的个数。

可选地，所述对所述标准字符集进行编码，得到字符码表，包括：