[发明专利]数据处理方法及相关设备

说明书

本发明实施例公开一种数据处理方法、数据处理装置、设备及计算机存储介质，包括：获取待处理数据；获取与所述待处理数据的数据类型相同的预设数据集；根据所述预设数据集确定压缩算法；根据所述压缩算法对所述待处理数据进行压缩，以得到目标数据。通过本申请实施例，通过获取与待处理数据的数据类型相同的预设数据集，进而根据预设数据集确定压缩算法，然后对待处理数据进行压缩，以得到目标数据。采用该手段，通过基于与待处理数据的数据类型相同的预设数据集进而获得相应的压缩算法，提高了数据处理、数据压缩的效率。

技术领域

本发明涉及压缩技术领域，尤其涉及一种数据处理方法、数据处理装置、设备及计算机存储介质。

背景技术

现有技术中的压缩技术利用经典信息理论提供的算法。例如，无损压缩是采用在文件中查找和删除数据冗余的结果。经典的压缩算法，甚至是如利用人工智能和机器语言的新算法，都关注冗余。冗余度越高，压缩比越好。

例如，Huffman和Run-Length算法倾向于寻找纯冗余，这意味着它们倾向于发现一段数据(即文本的一个字符)，并在更大的数据块中找到尽可能多的完全相同的副本。这些算法在一定程度上表现良好，但它们已经发展到压缩的瓶颈，所有这些算法都是基于现有的冗余来执行的，仅依赖于现有的冗余和对小数据块的执行限制了传统压缩算法的性能，现有技术并没有提供一种较优的方式来结合历史经验更进一步提高数据处理的效率。

发明内容

本发明实施例提供了一种数据处理方法、数据处理装置、设备及计算机存储介质，可以有助于提高数据处理、数据压缩的效率。

第一方面，本发明实施例提供了一种数据处理方法，包括：

获取待处理数据；

获取与所述待处理数据的数据类型相同的预设数据集；

根据所述预设数据集确定压缩算法；

根据所述压缩算法对所述待处理数据进行压缩，以得到目标数据。

通过本申请实施例，通过获取与待处理数据的数据类型相同的预设数据集，进而根据预设数据集确定压缩算法，然后对待处理数据进行压缩，以得到目标数据。采用该手段，通过基于与待处理数据的数据类型相同的预设数据集进而获得相应的压缩算法，提高了数据处理、数据压缩的效率。

其中，所述获取与所述待处理数据的数据类型相同的预设数据集，包括：

对所述待处理数据按照预设算法进行处理，以得到第一数据；

获取所述第一数据的数据类型；

从预设数据库中获取与所述第一数据的数据类型相同的预设数据集，将与所述第一数据的数据类型相同的预设数据集确定为所述待处理数据的数据类型相同的预设数据集。

其中，所述对所述待处理数据按照预设算法进行处理，以得到第一数据，包括：

确认所述待处理数据的数据类型是否为第一数据类型；

若是，则将所述待处理数据按照不同长度进行分割，以得到多个数据集，其中，每个数据集中数据的长度与其他数据集中数据的长度不同；

获取所述多个数据集中每个数据集的冗余度；

将所述冗余度超出第一阈值的数据集确定为第一数据集，其中，所述第一数据集中的数据为所述第一数据。

其中，当所述第一数据集包括至少两个数据集时，所述获取所述第一数据的数据类型，包括：

分别获取所述至少两个数据集的数据的长度；

获取所述至少两个数据集的数据的长度分别对应的权重；