[发明专利]一种数据处理方法及装置

摘要

本发明的实施例提供一种数据处理方法及装置，涉及计算机领域，能够减少数据合并的操作流程的时间，降低停等现象出现的概率和时间。包括：将数据合并的操作流程划分为至少两个阶段得到第1阶段至第m阶段，m大于或等于2，每个阶段包括一个或多个子流程；分别为每个阶段建立一个对应的线程得到m个线程；对输入第k线程的数据执行该第k线程对应的阶段中的子流程，并输出处理后数据至第k+1线程，在该第k+1线程对该处理后的数据执行对应阶段的子流程的过程中，对再次输入第k线程的数据再次执行第k线程对应的阶段中的子流程，并输出处理后数据至第k+1线程，直至所有输入第k线程的数据处理完毕。该数据处理方法及装置用于数据处理。 1

主权项

1.一种数据处理方法，其特征在于，包括：

将数据合并的操作流程划分为至少两个阶段得到第1阶段至第m阶段，所述m大于或等于2；

分别为每个所述阶段建立一个对应的线程得到m个线程，每个阶段包括一个子线程或多个进行并行操作的子线程；

对输入第k线程的数据执行所述第k线程对应的阶段中的子流程，并输出处理后数据至第k+1线程，在所述第k+1线程对所述处理后的数据执行对应阶段的子流程的过程中，对再次输入所述第k线程的数据再次执行所述第k线程对应的阶段中的子流程，并输出处理后数据至所述第k+1线程，直至所有输入所述第k线程的数据处理完毕，其中，所述第k线程为所述m个线程中任意一个线程，若第k线程包括多个进行并行操作的子线程，则所述第k线程对应的多个进行并行操作的子线程执行的子流程相同。

2.根据权利要求1所述的方法，其特征在于，

所述将数据合并的操作流程划分为至少两个阶段得到第1阶段至第m阶段包括：

将数据合并的操作流程划分为七个阶段得到第1阶段至第7阶段，所述第1阶段至第7阶段分别为读入阶段、校验阶段、解压阶段、合并阶段、压缩阶段、再校验阶段和写出阶段；

所述分别为每个所述阶段建立一个对应的线程得到m个线程包括：

分别为每个所述阶段建立一个线程得到第1线程至第7线程，所述第1线程至第7线程分别为读入线程、校验线程、解压线程、合并线程、压缩线程、再校验线程和写出线程。

3.根据权利要求1或2所述的方法，其特征在于，当所述m个线程中的第k线程包括多个进行并行操作的子线程时，所述对输入第k线程的数据执行所述第k线程对应的阶段中的子流程，并输出处理后数据至第k+1线程，包括：

所述第k线程中的子线程接收输入的数据，对数据执行所述第k线程对应的阶段中的子流程，并输出处理后数据至第k+1线程。

4.一种数据处理装置，其特征在于，包括：

划分单元，用于将数据合并的操作流程划分为至少两个阶段得到第1阶段至第m阶段，所述m大于或等于2；

建立单元，用于分别为每个所述阶段建立一个对应的线程得到m个线程，每个阶段包括一个子线程或多个进行并行操作的子线程；

执行单元，用于对输入第k线程的数据执行所述第k线程对应的阶段中的子流程，并输出处理后数据至第k+1线程，在所述第k+1线程对所述处理后的数据执行对应阶段的子流程的过程中，对再次输入所述第k线程的数据再次执行所述第k线程对应的阶段中的子流程，并输出处理后数据至所述第k+1线程，直至所有输入所述第k线程的数据处理完毕，其中，所述第k线程为所述m个线程中任意一个线程，若第k线程包括多个进行并行操作的子线程，则所述第k线程对应的多个进行并行操作的子线程执行的子流程相同。

5.根据权利要求4所述的数据处理装置，其特征在于，

所述划分单元具体用于：

将数据合并的操作流程划分为七个阶段得到第1阶段至第7阶段，所述第1阶段至第7阶段分别为读入阶段、校验阶段、解压阶段、合并阶段、压缩阶段、再校验阶段和写出阶段；

所述建立单元具体用于：

分别为每个所述阶段建立一个线程得到第1线程至第7线程，所述第1线程至第7线程分别为读入线程、校验线程、解压线程、合并线程、压缩线程、再校验线程和写出线程。

6.根据权利要求4或5所述的数据处理装置，其特征在于，当所述m个线程中的第k线程包括多个进行并行操作的子线程时，

所述执行单元具体用于：

所述第k线程中的子线程接收输入的数据，对数据执行所述第k线程对应的阶段中的子流程，并输出处理后数据至第k+1线程。

7.一种数据处理装置，其特征在于，所述数据处理装置包括：

处理器、通信接口、存储器和总线，

其中所述处理器、所述通信接口、所述存储器通过所述总线完成相互间的通信；

所述通信接口，用于接收待合并数据；

所述处理器，用于执行程序；

所述存储器，用于存放程序；

其中所述程序包括：

划分单元，用于将数据合并的操作流程划分为至少两个阶段得到第1阶段至第m阶段，所述m大于或等于2；

建立单元，用于分别为每个所述阶段建立一个对应的线程得到m个线程，每个阶段包括一个子线程或多个进行并行操作的子线程；

执行单元，用于对输入第k线程的数据执行所述第k线程对应的阶段中的子流程，并输出处理后数据至第k+1线程，在所述第k+1线程对所述处理后的数据执行对应阶段的子流程的过程中，对再次输入所述第k线程的数据再次执行所述第k线程对应的阶段中的子流程，并输出处理后数据至所述第k+1线程，直至所有输入所述第k线程的数据处理完毕，其中，所述第k线程为所述m个线程中任意一个线程，若第k线程包括多个进行并行操作的子线程，则所述第k线程对应的多个进行并行操作的子线程执行的子流程相同。

8.根据权利要求7所述的数据处理装置，其特征在于，

所述处理器的划分单元具体用于：

将数据合并的操作流程划分为七个阶段得到第1阶段至第7阶段，所述第1阶段至第7阶段分别为读入阶段、校验阶段、解压阶段、合并阶段、压缩阶段、再校验阶段和写出阶段；

所述处理器的建立单元具体用于：

分别为每个所述阶段建立一个线程得到第1线程至第7线程，所述第1线程至第7线程分别为读入线程、校验线程、解压线程、合并线程、压缩线程、再校验线程和写出线程。

9.根据权利要求7或8所述的数据处理装置，其特征在于，当所述m个线程中的第k线程包括多个进行并行操作的子线程时，

所述处理器的执行单元具体用于：

所述第k线程中的子线程接收输入的数据，对数据执行所述第k线程对应的阶段中的子流程，并输出处理后数据至第k+1线程。