[发明专利]一种读取海量数据的方法及装置

摘要

本发明实施例公开了一种读取海量数据的方法及装置，所述方法包括：i)获取待读取的海量数据；ii)获取指定字段的名称并将所有记录按指定字段进行排序；iii)获取起始位置及要预读取的记录的数量；iv)从起始位置预读取所述数量的记录作为当前数据段；v)在当前数据段中，按从后向前的顺序对各条记录的指定字段的值进行遍历，以获取结尾位置，即指定字段的值发生改变的记录的位置；vi)将起始位置与结尾位置之间的记录作为一段数据进行正式读取，并将结尾位置处的记录的下一条记录的位置作为新的起始位置，进入步骤iii)。本发明在分段读取海量数据时可动态调整每段数据的起始位置和结尾位置，从而保证了每段数据的完整性。

主权项

一种读取海量数据的方法，其特征在于，包括以下步骤：i)获取待读取的海量数据，所述海量数据包含多条记录，每条所述记录包含若干字段；ii)获取所述海量数据中指定字段的名称，并将所述海量数据中的所有记录按所述指定字段进行排序，以使所述指定字段值相同的记录相邻；iii)获取从所述海量数据中读取数据时的起始位置及要预读取的记录的数量；iv)从所述海量数据中的所述起始位置预读取所述数量的记录作为当前数据段；v)在所述当前数据段中，按从后向前的顺序对各条记录的所述指定字段的值进行遍历，以获取结尾位置，所述结尾位置为所述指定字段的值发生改变的记录的位置；vi)将所述起始位置与所述结尾位置之间的记录作为一段数据进行正式读取，并将所述结尾位置处的记录的下一条记录的位置作为新的起始位置，进入步骤iii)。