[发明专利]一种读取海量数据的方法及装置

权利要求书

1.一种读取海量数据的方法，其特征在于，包括以下步骤：

i)获取待读取的海量数据，所述海量数据包含多条记录，每条所述记录包含若干字段；

ii)获取所述海量数据中指定字段的名称，并将所述海量数据中的所有记录按所述指定字段进行排序，以使所述指定字段值相同的记录相邻；

iii)获取从所述海量数据中读取数据时的起始位置及要预读取的记录的数量；

iv)从所述海量数据中的所述起始位置预读取所述数量的记录作为当前数据段；

v)在所述当前数据段中，按从后向前的顺序对各条记录的所述指定字段的值进行遍历，以获取结尾位置，所述结尾位置为所述指定字段的值发生改变的记录的位置；

vi)将所述起始位置与所述结尾位置之间的记录作为一段数据进行正式读取，并将所述结尾位置处的记录的下一条记录的位置作为新的起始位置，进入步骤iii)。

2.根据权利要求1所述的方法，其特征在于，步骤v)具体包括：

a、将所述当前数据段的最后一条记录作为当前记录；

b、判断当前记录及其上一条记录的所述指定字段的值是否相同，若相同，则将所述当前记录的上一条记录作为新的当前记录，重复步骤b；若不同，则获取所述当前记录的上一条记录的位置作为结尾位置。

3.根据权利要求1所述的方法，其特征在于，步骤iv)之后还包括以下步骤：

判断所述当前数据段之后是否还有后续数据，若有则继续执行，若没有，则将当前数据段作为一段数据进行正式读取并退出。

4.根据权利要求3所述的方法，其特征在于，判断所述当前数据段之后是否还有后续数据的步骤，具体包括：

A、读取所述当前数据段之后的若干条记录作为冗余记录；

B、判断所述冗余记录的第一条记录是否为空，若是，则判断没有后续记录，若否，则判断有后续记录。

5.根据权利要求4所述的方法，其特征在于，步骤A中所述若干条具体为一条。

6.一种读取海量数据的装置，其特征在于，包括：

数据准备单元，用于获取待读取的海量数据，所述海量数据包含多条记录，每条所述记录包含若干字段；

预处理单元，用于获取所述海量数据中指定字段的名称，并将所述海量数据中的所有记录按所述指定字段进行排序，以使所述指定字段值相同的记录相邻；

起点获取单元，用于获取从所述海量数据中读取数据时的起始位置及要预读取的记录的数量；

预读单元，用于从所述海量数据中的所述起始位置预读取所述数量的记录作为当前数据段；

结尾获取单元，用于在所述当前数据段中，按从后向前的顺序对各条记录的所述指定字段的值进行遍历，以获取结尾位置，所述结尾位置为所述指定字段的值发生改变的记录的位置；

正式读取单元，用于将所述起始位置与所述结尾位置之间的记录作为一段数据进行正式读取，并将所述结尾位置处的记录的下一条记录的位置作为新的起始位置。

7.根据权利要求6所述的装置，其特征在于，所述结尾获取单元具体包括：

初始化子单元：用于将所述当前数据段的最后一条记录作为当前记录；

循环判断子单元：用于判断当前记录及其上一条记录的所述指定字段的值是否相同；若相同，则将所述当前记录的上一条记录作为新的当前记录，继续判断当前记录及其上一条记录的所述指定字段的值是否相同；若不同，则获取所述当前记录的上一条记录的位置作为结尾位置。

8.根据权利要求6所述的装置，其特征在于，还包括：

后续数据判断单元，用于判断所述当前数据段之后是否还有后续数据，若没有则调用结束单元；

所述结束单元，用于将当前数据段作为一段数据进行正式读取并退出。

9.根据权利要求8所述的装置，其特征在于，所述后续数据判断单元具体包括：

后续数据读取子单元，用于读取所述当前数据段之后的若干条记录作为冗余记录；

后续数据判断子单元，用于判断所述冗余记录的第一条记录是否为空，若否，则调用结束单元。

10.根据权利要求9所述的装置，其特征在于所述若干条具体为一条。