[发明专利]数据处理方法及装置

说明书

本发明公开了一种数据处理方法及装置，属于计算机技术领域。所述方法包括：获取至少两个目标文本数据块的压缩字典，基于所述压缩字典，分别对所述至少两个目标文本数据块中的每个目标文本数据块进行压缩，得到至少两个压缩数据块，当接收到对所述至少两个目标文本数据块进行同一处理操作的处理指令时，对所述至少两个压缩数据块中的压缩数据进行处理，以实现所述至少两个目标文本数据块的处理。本发明通过对该至少两个压缩数据块中的压缩数据进行处理，来实现对该至少两个目标文本数据块的处理，而无需对该至少两个压缩数据块进行解压，减小了数据处理量，进而缩短了数据的处理时间，以及节省了处理资源。

技术领域

本发明涉及计算机技术领域，特别涉及一种数据处理方法及装置。

背景技术

随着计算机技术的发展，大量的文本数据需要进行存储和分析，该文本数据是指由可打印字符组成的数据，该可打印字符包括美国标准信息交换代码(American StandardCode for Information Interchange，ASCII)中的33～127位的字符、统一码(UNICODE)中的字符、万国码(UTF-8)中的字符等。在对该文本数据进行存储时，为了能够节省数据存储与传输时所占用的时间及空间，需要先对该文本数据进行压缩，再对压缩后的该文本数据进行存储，之后，在对该文本数据进行分析时，可以先将压缩后的该文本数据进行解压，以得到该文本数据，再对该文本数据进行诸如比较、排序、查找、哈希运算、连接运算等处理，基于该文本数据的处理结果来对该文本数据进行分析。

目前，提供了一种数据处理方法，具体为：对于存储的多个文本数据块中的每个文本数据块，生成该文本数据块的压缩字典，该文本数据块中包括多个文本数据；基于该文本数据块的压缩字典，对该文本数据块进行压缩，得到该文本数据块对应的压缩数据块；对该文本数据块对应的压缩数据块进行存储。当接收到对第一文本数据块和第二文本数据块进行同一处理操作的处理指令时，获取第一文本数据块对应的压缩数据块，以及获取第二文本数据块对应的压缩数据块，第一文本数据块和第二文本数据块为该多个文本数据块中的任意两个文本数据块；对第一文本数据块对应的压缩数据块进行解压，以得到第一文本数据块，并对第二文本数据块对应的压缩数据块进行解压，以得到第二文本数据块；对第一文本数据块和第二文本数据块中的文本数据进行处理，得到处理结果。

由于在接收到对第一文本数据块和第二文本数据块进行同一处理操作的处理指令时，需要分别对第一文本数据块对应的压缩数据块和第二文本数据块对应的压缩数据块进行解压后，才能对第一文本数据块和第二文本数据块进行处理，因此，数据处理的时间较长，消耗的处理资源较多。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种数据处理方法及装置。所述技术方案如下：

第一方面，提供了一种数据处理方法，所述方法包括：

获取至少两个目标文本数据块的压缩字典，所述至少两个目标文本数据块为存储的多个文本数据块中后续通过同一处理操作进行处理的数据块，各个目标文本数据块均包括多个文本数据，各个文本数据均包括多个字符，所述压缩字典包括所述各个目标文本数据块中每个文本数据的压缩码，或者包括所述各个目标文本数据块中每个字符的压缩码；

基于所述压缩字典，分别对所述至少两个目标文本数据块中的每个目标文本数据块进行压缩，得到至少两个压缩数据块，所述至少两个目标文本数据块与所述至少两个压缩数据块一一对应，各个压缩数据块均包括多个压缩数据，所述多个压缩数据与所述多个文本数据一一对应；

当接收到对所述至少两个目标文本数据块进行同一处理操作的处理指令时，对所述至少两个压缩数据块中的压缩数据进行处理，以实现所述至少两个目标文本数据块的处理。