[发明专利]数据处理方法、装置、计算机设备及存储介质

说明书

本申请涉及大数据技术领域，应用于分布式系统，并公开了一种数据处理方法、装置、计算机设备及存储介质，该方法包括：扫描数据表以读取待处理数据，根据数据类型对所述待处理数据进行分类以得到多个键值数据；计算每个所述键值数据的占比系数，判断所述占比系数是否大于预设系数阈值；若所述占比系数大于所述预设系数阈值，触发启动保存于所述分布式系统中的预设Map‑Reduce处理逻辑以将所述键值数据分成多份数据块；根据所述数据块生成Map任务并发送至Reduce以完成对所述待处理数据的处理。该方法可解决大数据处理时产生的数据倾斜现象。

技术领域

本申请涉及大数据技术领域，尤其涉及一种数据处理方法、装置、计算机设备及存储介质。

背景技术

目前，在通过分布式系统对大数据进行处理时，往往会遇到对数据进行分类分区的需求，现有对于数据进行分类分区是通过分布式Key-Value的信息进行动态处理的，但是遇到部分数据量巨大的键值数据就会产生数据倾斜，甚至导致数据处理报错。在进行海量数据动态分区时，如果数据倾斜可能会导致作业失败，不能实现动态分区的功能，只能人工操作进行分类。如果数据表较多的话，也不利于大批量数据处理。因此，有必要提供一种数据处理方法以解决上述问题。

发明内容

本申请提供了一种数据处理方法、装置、计算机设备及存储介质，旨在分布式系统在处理大数据时产生的数据倾斜问题。

本申请提供了一种数据处理方法，应用于分布式系统，其包括：

扫描数据表以读取待处理数据，根据数据类型对所述待处理数据进行分类以得到多个键值数据；

计算每个所述键值数据的占比系数，判断所述占比系数是否大于预设系数阈值；

若所述占比系数大于所述预设系数阈值，触发启动保存于所述分布式系统中的预设Map-Reduce处理逻辑以将所述键值数据分成多份数据块；

根据所述数据块生成Map任务并发送至Reduce以完成对所述待处理数据的处理。

本申请提供了一种数据处理装置，配置在分布式系统中，其包括：

扫描分类单元，用于扫描数据表以读取待处理数据，根据数据类型对所述待处理数据进行分类以得到多个键值数据；

计算判断单元，用于计算每个所述键值数据的占比系数，判断所述占比系数是否大于预设系数阈值；

触发启动单元，用于若所述占比系数大于所述预设系数阈值，触发启动保存于所述分布式系统中的预设Map-Reduce处理逻辑以将所述键值数据分成多份数据块；

生成发送单元，用于根据所述数据块生成Map任务并发送至Reduce以完成对所述待处理数据的处理。

本申请还提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现本申请提供的任意一项所述的数据处理方法的步骤。

本申请还提供了一种计算机存储介质，其中所述计算机存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器执行本申请提供的任意实施例所述的数据处理方法的步骤。

本申请实施例提供了数据处理方法、装置、计算机设备及存储介质，通过扫描数据表以读取待处理数据，对所述待处理数据进行分类以得到多个键值数据后；计算每个所述键值数据的占比系数，若所述占比系数大于所述预设系数阈值，则触发启动预设Map-Reduce处理逻辑，而不采用现有的分布式Key-Value处理方式进行处理；基于所述预设Map-Reduce处理逻辑，根据所述数据块生成Map任务并发送至Reduce以完成对所述待处理数据的处理。该方法可以提升大数据动态分类分区的处理能力，减少对分布式系统的资源浪费，同时解决大数据处理时产生的数据倾斜现象。

附图说明