[发明专利]一种数据拉取方法、装置及存储介质

权利要求书

1.一种数据拉取方法，其特征在于，应用于Spark集群与客户端交互场景中，所述方法包括：

从待拉取数据中获取第i次拉取时预设拉取的N条数据，i为正整数，N为大于1的整数；所述待拉取数据为弹性分布式数据集中的数据；

确定所述N条数据的大小；

若所述N条数据的大小大于驱动端的内存，根据所述驱动端的内存减小N的值，减小后的N所对应的数据的大小小于所述驱动端的内存；

根据减小后的N进行所述第i次拉取。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若所述N条数据的大小小于所述驱动端的内存，第i次拉取时拉取所述N条数据。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取每次拉取时预设拉取的第一数据条数；

根据所述第一数据条数确定每次预设拉取的数据的第一数据信息，所述第一数据信息用于体现预设拉取的数据在所述待拉取数据中的位置。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

记录每次拉取时已拉取的数据的第二数据信息，所述第二数据信息用于体现已拉取的数据在所述待拉取数据中的位置；

若i1，所述从待拉取数据中获取第i次拉取时预设拉取的N条数据，包括：

根据所述第一数据信息和第i-1次拉取对应的所述第二数据信息获取所述N条数据；

若i1，所述根据减小后的N进行所述第i次拉取，包括：

根据减小后的N、所述第一数据信息和所述第i-1次拉取对应的所述第二数据信息进行所述第i次拉取。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述弹性分布式数据集包括多个数据分区。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

收集每个所述数据分区的第二数据条数；

根据第二数据条数确定所述弹性分布式数据集的总数据条数。

7.根据权利要求3所述的方法，其特征在于，若收集到每个数据分区的第二数据条数，所述根据所述第一数据条数确定每次预设拉取的数据的第一数据信息，包括：

根据所述第二数据条数和所述第一数据条数确定所述第一数据信息，所述第一数据信息包括预设拉取的数据在对应数据分区中的数据标识和所对应数据分区的分区标识。

8.根据权利要求4所述的方法，其特征在于，若所述第i次拉取的数据来自多个数据分区，所述根据减小后的N进行所述第i次拉取，包括：

从所述多个数据分区分别获取数据列表，所述数据列表中包括从所述数据分区中拉取的数据；

将多个所述数据列表进行合并得到综合数据列表。

9.根据权利要求1所述的方法，其特征在于，所述待拉取数据存储在服务器集群中。

10.一种数据拉取装置，其特征在于，应用于Spark集群与客户端交互场景中，所述装置包括第一获取单元、确定单元、减小单元和拉取单元：

所述第一获取单元，用于从待拉取数据中获取第i次拉取时预设拉取的N条数据，i为正整数，N为大于1的整数；所述待拉取数据为弹性分布式数据集中的数据

所述确定单元，用于确定所述N条数据的大小；

所述减小单元，用于若所述N条数据的大小大于驱动端的内存，根据所述驱动端的内存减小N，减小后的N所对应的数据的大小小于所述驱动端的内存；

所述拉取单元，用于根据减小后的N进行所述第i次拉取。

11.根据权利要求10所述的装置，其特征在于，所述拉取单元还用于：

若所述N条数据的大小小于所述驱动端的内存，第i次拉取时拉取所述N条数据。