[发明专利]数据处理方法及相关设备

说明书

本发明实施例公开一种数据处理方法、数据处理装置、设备及计算机存储介质，包括：获取待处理数据；将所述待处理数据按照预设算法进行转换，以得到M组候选数据；分别获取所述M组候选数据中每组候选数据与K个不同长度的预设数据块之间的相似性；将所述相似性超出第一预设阈值的该组候选数据确定为目标数据。采用该手段，通过获取候选数据与预设数据块之间的相似性进而来确定目标数据，有助于提高数据处理的效率。

技术领域

本发明涉及压缩技术领域，尤其涉及一种数据处理方法、数据处理装置、设备及计算机存储介质。

背景技术

现有技术中的压缩技术利用经典信息理论提供的算法。例如，无损压缩是采用在文件中查找和删除数据冗余的结果。经典的压缩算法，甚至是如利用人工智能和机器语言的新算法，都关注冗余。冗余度越高，压缩比越好。

例如，Huffman和Run-Length算法倾向于寻找纯冗余，这意味着它们倾向于发现一段数据(即文本的一个字符)，并在更大的数据块中找到尽可能多的完全相同的副本。这些算法在一定程度上表现良好，但它们已经发展到压缩的瓶颈，所有这些算法都是基于现有的冗余来执行的，仅依赖于现有的冗余和对小数据块的执行限制了传统压缩算法的性能，现有技术并没有提供一种较优的方式来结合历史经验更进一步提高数据处理的效率。

发明内容

本发明实施例提供了一种数据处理方法、数据处理装置、设备及计算机存储介质，可以有助于提高数据处理的效率。

第一方面，本发明实施例提供了一种数据处理方法，包括：

获取待处理数据；

将所述待处理数据按照预设算法进行转换，以得到M组候选数据，M为不小于2的整数；

分别获取所述M组候选数据中每组候选数据与K个不同长度的预设数据块之间的相似性，K为不小于1的整数；

将所述相似性超出第一预设阈值的该组候选数据确定为目标数据。

其中，所述待处理数据为N位的二进制数据，N为不小于2的整数；所述将所述待处理数据按照预设算法进行转换，以得到M组候选数据，包括：

将所述N位的二进制数据分割为M个二进制数据块集，其中，每个二进制数据块集的总位数均为N，且所述每个二进制数据块集中均包括至少两个二进制数据块，所述每个二进制数据块集中的任意两个二进制数据块的位数相同；其中，任意两个二进制数据块集中的二进制数据块的位数不相同；

将所述M个二进制数据块集确定为所述M组候选数据。

其中，所述预设数据块为压缩比率超出第二预设阈值的预设数据块。

其中，所述分别获取所述M组候选数据中每组候选数据与K个不同长度的预设数据块之间的相似性，包括：

分别获取所述M组候选数据中每组候选数据中的数据块的长度；

分别获取所述M组候选数据中每组候选数据中的数据块与所述K个不同长度的预设数据块之间的距离，其中，两个数据块之间的距离为所述两个数据块中字符串对应位置的不同字符的第一数量，所述第一数量小于第三预设阈值；

分别获取所述M组候选数据中每组候选数据中的数据块与所述K个不同长度的预设数据块之间的相对等同值，其中，两个数据块之间的相对等同值为所述两个数据块中字符串依次相对等同的第二数量，所述第二数量大于第四预设阈值；

根据所述每组候选数据中的数据块的长度以及与所述K个不同长度的预设数据块之间的距离、相对等同值，得到所述M组候选数据中每组候选数据与K个不同长度的预设数据块之间的相似性。

其中，所述候选数据中的数据块A与预设数据块B之间的相似性S_AB可表示为：