[发明专利]基于大数据平台的数据处理方法、装置、设备及介质

权利要求书

1.一种基于大数据平台的数据处理方法，其特征在于，包括：

获取大数据平台中的各个节点的数据表格信息和空余内存容量，所述数据表格信息包括数据表格容量和数据表格读取次数；

按照所述数据表格读取次数从大到小的顺序对数据表格进行排序，并根据所述各个节点的所述空余内存容量，获取总空余内存容量；

按照所述数据表格读取次数从大到小的顺序对所述数据表格的数据表格容量进行逐项叠加，得到数据表格总容量，并在每次叠加之后判断所述数据表格总容量是否大于所述总空余内存容量；

若所述数据表格总容量小于或等于所述总空余内存容量，则将叠加的数据表格容量对应的数据表格放入待选数据集中；

若所述数据表格总容量大于所述总空余内存容量，则停止对所述数据表格的数据表格容量进行逐项叠加；

将所述待选数据集中的所述数据表格作为待切分数据，其中，所述待切分数据小于或等于各个节点的总空余内存容量；

根据所述各个节点的所述空余内存容量，获取哈希分区表的数量；

根据所述哈希分区表的数量，使用哈希分区的切分方法，将所述待切分数据进行切分，得到切分数据；

将所述切分数据映射至所述哈希分区表内，得到分区数据；

根据所述各个节点的空余内存容量，获取所述各个节点的所述空余内存容量的空余容量比例；

根据所述空余容量比例，确定分配至每个节点的所述分区数据的分配数量；

根据所述分配数量，将所述分区数据分配至所述各个节点的内存。

2.如权利要求1所述的基于大数据平台的数据处理方法，其特征在于，在将所述分区数据发送至各个节点的内存的步骤之后，所述方法还包括：

对所述各个节点的当前内存空间进行监控；

若检测到任一所述节点的当前内存空间不足，则将所述当前内存空间不足的节点作为故障节点，将当前内存空间充足的节点作为正常节点；

获取所述正常节点的剩余内存空间；

将所述故障节点中的分区数据作为待分配数据；

根据所述正常节点的剩余内存空间将所述待分配数据进行切分处理，得到切分数据；

获取所述正常节点的剩余内存空间的剩余容量比例，并根据所述剩余容量比例将所述切分数据发送至各个所述正常节点的内存。

3.如权利要求2所述的基于大数据平台的数据处理方法，其特征在于，所述将所述故障节点中的分区数据作为待分配数据，包括：

根据所述正常节点的剩余内存空间，获取所述正常节点的总剩余内存空间；

根据所述正常节点的总剩余内存空间，将所述故障节点的内存中的所述分区数据的数据量进行逐项叠加，得到分区数据总容量，并在每次叠加之后判断所述分区数据总容量是否大于所述总剩余内存空间；

若所述分区数据总容量小于或等于所述总剩余内存空间，则将叠加的分区数据总容量对应的分区数据放入待处理数据集中；

若所述分区数据总容量大于所述总剩余内存空间，则停止对所述分区数据的数据量进行逐项叠加；

将所述待处理数据集中的所述分区数据作为所述待切分数据。

4.一种基于大数据平台的数据处理装置，所述基于大数据平台的数据处理装置用于实现权利要求1至权利要求3任一项所述的基于大数据平台的数据处理方法，其特征在于，所述基于大数据平台的数据处理装置包括：

获取模块，用于获取大数据平台中的各个节点的数据表格信息和空余内存容量，所述数据表格信息包括数据表格容量和数据表格读取次数；

排序模块，用于按照所述数据表格读取次数从大到小的顺序对数据表格进行排序，并根据所述各个节点的所述空余内存容量对所述数据表格按照所述排序的顺序进行选取，得到待切分数据，其中，所述待切分数据小于或等于各个节点的总空余内存容量；

分区模块，用于根据所述各个节点的所述空余内存容量，将所述待切分数据进行切分处理，得到分区数据；

第一发送模块，用于获取所述各个节点的所述空余内存容量的空余容量比例，并根据所述空余容量比例将所述分区数据发送至所述各个节点的内存。