[发明专利]基于大数据平台的数据处理方法、装置、设备及介质

说明书

本发明公开了一种基于大数据平台的数据处理方法、装置、设备及介质，包括：获取大数据平台中的各个节点的数据表格信息和空余内存容量，数据表格信息包括数据表格容量和数据表格读取次数；按照数据表格读取次数从大到小的顺序对数据表格进行排序，并根据各个节点的空余内存容量对数据表格按照排序的顺序进行选取，得到待切分数据，其中，待切分数据小于或等于各个节点的总空余内存容量；根据各个节点的空余内存容量，将待切分数据进行切分处理，得到分区数据；获取各个节点的空余内存容量的空余容量比例，并根据空余容量比例将分区数据发送至各个节点的内存。该方法可减少在大数据平台读取数据的时间，提高了数据的读取效率。

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于大数据平台的数据处理方法、装置、设备及介质。

背景技术

在进行大数据的计算过程中，每次对数据进行读取时，都需要通过存储数据的机器的硬盘I/O中进行读取，而在I/O口中读取数据需要耗费的时间较长，若需要重复读取一些数据时，在I/O口的读取所消耗的时间就会更多。因此，增加了在大数据的计算过程的时间，且计算的效率不高。

发明内容

基于此，有必要针对上述技术问题，提供一种可以减少数据读取时间，提高数据读取效率的基于大数据平台的数据处理方法、装置、计算机设备及存储介质。

一种基于大数据平台的数据处理方法，包括：

获取大数据平台中的各个节点的数据表格信息和空余内存容量，所述数据表格信息包括数据表格容量和数据表格读取次数；

按照所述数据表格读取次数从大到小的顺序对数据表格进行排序，并根据所述各个节点的所述空余内存容量对所述数据表格按照所述排序的顺序进行选取，得到待切分数据，其中，所述待切分数据小于或等于各个节点的总空余内存容量；

根据所述各个节点的所述空余内存容量，将所述待切分数据进行切分处理，得到分区数据；

获取所述各个节点的所述空余内存容量的空余容量比例，并根据所述空余容量比例将所述分区数据发送至所述各个节点的内存。

一种基于大数据平台的数据处理装置，包括：

获取模块，用于获取大数据平台中的各个节点的数据表格信息和空余内存容量，所述数据表格信息包括数据表格容量和数据表格读取次数；

排序模块，用于按照所述数据表格读取次数从大到小的顺序对数据表格进行排序，并根据所述各个节点的所述空余内存容量对所述数据表格按照所述排序的顺序进行选取，得到待切分数据，其中，所述待切分数据小于或等于各个节点的总空余内存容量；

分区模块，用于根据所述各个节点的所述空余内存容量，将所述待切分数据进行切分处理，得到分区数据；

发送模块，用于获取所述各个节点的所述空余内存容量的空余容量比例，并根据所述空余容量比例将所述分区数据发送至所述各个节点的内存。

一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于大数据平台的数据处理方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述基于大数据平台的数据处理方法的步骤。

上述基于大数据平台的数据处理方法、装置、设备及介质中，在判定需要进行切分并写入内存的数据后，只需要在第一次读取该数据时，通过硬盘的I/O口进行读取，之后再需要读取该数据时，之前从内存中调用，大大减少了读取数据的时间。根据数据读取次数对数据表格进行排序，还通过各个节点的空余内存容量判定需要进行切分并写入内存的数据，减少了从硬盘的I/O口进行读取的数据量，减少在大数据平台读取数据的时间，提高了数据的读取效率。

附图说明