[发明专利]一种数据获取方法及相关装置

权利要求书

1.一种数据获取方法，其特征在于，包括：

为大数据系统中每一条待获取数据添加标识；

根据所述标识对所有所述待获取数据进行分页处理，得到第一预设个数的待获取数据组；

并发获取所述第一预设个数的所述待获取数据组。

2.根据权利要求1所述的方法，其特征在于，所述为大数据系统中每一条待获取数据添加标识，包括：

为所述大数据系统中每一条所述待获取数据添加唯一标号。

3.根据权利要求1所述的方法，其特征在于，所述按照预设方法为大数据系统中每一条待获取数据添加标识，包括：

为每第二预设个数的待获取数据添加相同的组标；其中，所述组标的个数为所述第一预设个数。

4.根据权利要求3所述的方法，其特征在于，所述为每第二预设个数的待获取数据添加相同的组标，包括：

在所有所述待获取数据对应的所有字段中确定目标字段；其中，所述目标字段对应的所有目标字段数据中，每个目标字段数据重复次数不超过预设值；

对每个所述目标字段数据进行转换，得到与每个所述目标字段数据对应的目标数字；

利用所述第一预设个数对每个所述目标数字进行取模操作，将得到的对应每个所述目标字段数据的取模结果分别作为与每个所述目标字段数据对应的待获取数据的组标。

5.根据权利要求4所述的方法，其特征在于，所述对每个所述目标字段数据进行转换，得到与每个所述目标字段数据对应的目标数字，包括：

对每个所述目标字段数据计算hash值，得到与每个所述目标字段数据对应的目标数字。

6.根据权利要求4所述的方法，其特征在于，所述对每个所述目标字段数据进行转换，得到与每个所述目标字段数据对应的目标数字，包括：

对每个所述目标字段数据计算加密值，得到与每个所述目标字段数据对应的目标数字。

7.一种数据获取系统，其特征在于，包括：

标识添加模块，用于为大数据系统中每一条待获取数据添加标识；

分页处理模块，用于根据所述标识对所有所述待获取数据进行分页处理，得到第一预设个数的待获取数据组；

并发获取模块，用于并发获取所述第一预设个数的所述待获取数据组。

8.根据权利要求7所述的系统去，其特征在于，所述标识添加模块，具体用于，为所述大数据系统中每一条所述待获取数据添加唯一标号。

9.一种数据获取装置，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至6任一项所述数据获取方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述数据获取方法的步骤。