[发明专利]一种商品数据的处理方法及装置

说明书

本发明公开了一种商品数据的处理方法及装置，该方法包括确定待处理商品销售数据中销售量大于预设阈值的商品的目标ID；将预设的N个数值中的任一个随机赋值给目标ID对应的每一数据，并结合目标ID作为每一数据的新ID，生成新的商品销售数据；根据新ID与目标ID的对应关系，建立新ID与商品维表数据的对应关系，生成新的商品维表数据；根据新ID将新的商品销售数据与新的商品维表数据进行关联，生成商品结果数据。本发明通过对待处理商品销售数据以及商品维表数据进行重复序列化处理，扩大了商品维表数据量，稀释了待处理商品销售数据，解决了分布式计算时节点数据分布不均匀的问题，避免了数据倾斜，减少计算时间，提高CPU及内存资源利用率。

技术领域

本发明涉及大数据数据仓库技术领域，特别涉及一种商品数据的处理方法及装置。

背景技术

数据倾斜是在大数据处理时经常遇到的问题，在数据进行处理的时候，节点数据分布不均匀，导致数据量就较小很快会处理完，而数据量较大的却要很久才能处理完，这个时候就是发生数据倾斜了，一般数据倾斜问题，是大数据处理时的性能问题，必须要能够提出有效的解决方法，才能避免这样的问题产生。

随着电商公司之间竞争愈加剧烈，各种各样的优惠促销活动越来越多。在大促期间，对于优惠力度很大的某个商品，某个时间段会产生很大的交易数据。这些爆款商品在后期对销售数据进行离线计算时，会造成很严重的数据倾斜，导致任务延迟，以致整个数据链路阻塞延迟。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种商品数据的处理方法及装置，以克服现有技术中由于某些商品销售量分布严重不均匀造成离线数据计算时产生严重的数据倾斜等问题。

为解决上述一个或多个技术问题，本发明采用的技术方案是：

一方面，提供了一种商品数据的处理方法，该方法包括如下步骤：

确定待处理商品销售数据中销售量大于预设阈值的商品的目标ID；

将预设的N个数值中的任一个随机赋值给所述目标ID对应的每一数据，并结合所述目标ID作为每一数据的新ID，生成新的商品销售数据，其中N为正整数；

根据新ID与目标ID的对应关系，建立新ID与商品维表数据的对应关系，生成新的商品维表数据；

根据所述新ID将所述新的商品销售数据与所述新的商品维表数据进行关联，生成商品结果数据。

进一步的，所述确定待处理商品销售数据中销售量大于预设阈值的商品的目标ID包括：

将所述待处理商品销售数据中每一商品的销售量与所述预设阈值进行比较；

获取销售量大于所述预设阈值的商品的ID作为目标ID。

进一步的，所述将预设的N个数值中的任一个随机赋值给所述目标ID对应的每一数据，并结合所述目标ID作为每一数据的新ID，生成新的商品销售数据包括：

采用随机算法在所述目标ID对应的每一数据的ID上拼接上预设的N个数值中的任一个，生成所述目标ID对应的每一数据新ID；

根据所述目标ID建立所述新ID与所述目标ID对应的每一数据的对应关系，生成新的商品销售数据。

进一步的，所述根据新ID与目标ID的对应关系，建立新ID与商品维表数据的对应关系，生成新的商品维表数据包括：

从所述商品维表数据中筛选出与所述目标ID对应的商品维表数据作为待扩充数据；

根据所述目标ID建立所述新ID与所述待扩充数据的对应关系，生成新的商品维表数据。

进一步的，所述方法还包括：