[发明专利]一种数据拉取方法、装置及存储介质

说明书

本申请实施例公开一种数据拉取方法，以数据条数作为粒度进行拉取，在进行数据拉取时预先设置了每次拉取所需拉取的数据条数即预设拉取的数据条数，以第i次数据拉取为例，从待拉取数据中获取第i次拉取时预设拉取的N条数据，i为正整数，N为大于1的整数。然后，确定该N条数据的大小，若该N条数据的大小大于驱动端的内存，说明如果拉取该N条数据将使得驱动端内存压力过大，为了避免内存压力过大导致的内存溢出，可以根据驱动端的内存减小N，减小后的N所对应的数据的大小小于驱动端的内存。这样，根据减小后的N进行第i次拉取时，拉取的数据不会使得驱动端内存压力过大，避免由于内存压力过大导致的内存溢出，进而避免软件或设备的崩溃。

技术领域

本申请涉及大数据技术领域，特别是涉及一种数据拉取方法、装置及存储介质。

背景技术

随着互联网时代的到来，互联网在人们日常的学习、工作、生活和娱乐中得到广泛的应用，人们日常的各种事务都可以通过网络来呈现。因此，互联网中每天都在产生着海量的数据。

相关技术提供两种驱动(Driver)端数据拉取方案，一种方案是将整个数据集拉取到Driver端；另一种方案是每次拉取数据集中的一个分区数据到Driver端。

然而这两种方案都有可能由于拉取的数据过大造成Driver端内存溢出，进而导致软件或设备的崩溃。

发明内容

为了解决上述技术问题，本申请提供了一种数据拉取方法、装置及存储介质，避免由于内存压力过大导致的内存溢出，进而避免软件或设备的崩溃。

本申请实施例公开了如下技术方案：

第一方面，本申请实施例提供一种数据拉取方法，所述方法包括：

从待拉取数据中获取第i次拉取时预设拉取的N条数据，i为正整数，N为大于1的整数；

确定所述N条数据的大小；

若所述N条数据的大小大于驱动端的内存，根据所述驱动端的内存减小N的值，减小后的N所对应的数据的大小小于所述驱动端的内存；

根据减小后的N进行所述第i次拉取。

第二方面，本申请实施例提供一种数据拉取装置，所述装置包括第一获取单元、确定单元、减小单元和拉取单元：

所述第一获取单元，用于从待拉取数据中获取第i次拉取时预设拉取的N条数据，i为正整数，N为大于1的整数；

所述确定单元，用于确定所述N条数据的大小；

所述减小单元，用于若所述N条数据的大小大于驱动端的内存，根据所述驱动端的内存减小N，减小后的N所对应的数据的大小小于所述驱动端的内存；

所述拉取单元，用于根据减小后的N进行所述第i次拉取。

第三方面，本申请实施例提供一种用于数据拉取的设备，所述设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行第一方面所述的方法。

第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面所述的方法。