[发明专利]一种数据处理的方法、系统、电子设备和可读存储介质

说明书

本发明提供一种数据处理的方法、系统、电子设备和可读存储介质，能够实现对海量数据的分布式科学计算，保证了计算的速度和准确性；通过价格弹性计算出消费者对价格变动的敏感程度，从而更好地指导商品定价。本发明的数据处理的方法包括：调度机构从数据表中读取数据，并将数据分发给多个服务器；服务器对接收的数据进行数据拟合，并将数据的拟合结果返回给调度机构；调度机构接收服务器返回的拟合结果，并将拟合结果发送给数据仓库以便保存到数据仓库中。

技术领域

本发明涉及计算机技术领域，特别地涉及一种数据处理的方法、系统、电子设备和可读存储介质。

背景技术

随着计算机技术、网络技术和远程通信技术的发展，电子商务行业也开始快速扩张。目前，电子商务已日益成为拉动消费需求、促进传统产业升级、发展现代服务业的重要引擎。

对于电子商务平台来说，如何给商品合理地定价是首要解决的问题。目前常用的方案是，根据商品的销量和页面点击量来计算用户对商品的价格敏感度。根据用户对商品的价格敏感度的不同，可将商品分为关键品、普通品、长尾品(需求不旺或销量不佳的产品)等几类。其中，商品的销量指标是利用数据库中的订单数据，加工成销量数据获得的；关键价值商品指标是利用商品销量和用户页面访问页面时的操作代码加工而来。现有的对销量指标和关键价值商品指标的计算方法一般有如下两种：

1、利用R、python单机计算，也就是通过R或者python在单台服务器上读取数据并进行数据的计算；

2、利用hadoop mapreduce在计算机集群上运算，能对海量数据进行处理，可以对数据实现一般的汇总、统计计算等。

在实现本发明的过程中，发明人发现现有技术存在如下技术问题：

现有的对销量指标和关键价值商品指标的计算方法，利用R、python单机计算时，由于单服务器存储能力和计算能力有限，在处理数据量和效率上存在很大的局限性；利用hadoop mapreduce处理数据时，由于计算能力有限，无法利用机器学习算法对数据进行进一步处理。

另外，现有的技术方案单纯考虑销量和点击量，但销量和点击量会因促销等因素的影响在短时间内的变化比较剧烈，影响了数据指标的置信度；其次，现有技术并没有区分销量和点击量的变化在多大程度上是由价格因素导致的。因此现有的技术方案并不能很好地指导商品定价，不能依据消费者对商品价格变动的敏感程度进行最优价格的决策。

发明内容

有鉴于此，本发明提供一种数据处理的方法、系统、电子设备和可读存储介质，能够实现对海量数据的分布式科学计算，保证了计算的速度和准确性；通过价格弹性计算出消费者对价格变动的敏感程度，从而更好地指导商品定价。

为实现上述目的，根据本发明的一个方面，提供了一种数据处理的方法。

一种数据处理的方法，包括：调度机构从数据表中读取数据，并将所述数据分发给多个服务器；所述服务器对接收的数据进行数据拟合，并将所述数据的拟合结果返回给所述调度机构；所述调度机构接收所述服务器返回的所述拟合结果，并将所述拟合结果发送给数据仓库以便保存到所述数据仓库中。

可选地，所述调度机构为spark。

可选地，调度机构从数据表中读取数据之前，还包括：数据加工模块将所述数据仓库中的数据根据商品种类以时间段为单位进行汇总并生成所述数据表。

可选地，所述时间段为天。

可选地，所述拟合结果包括数据模型、模型拟合优度和置信度。

可选地，所述服务器在进行数据拟合之前，对所述数据进行预处理以删除异常值。

可选地，所述服务器在进行数据拟合之后，根据预订的筛选规则对所述拟合结果进行筛选，所述筛选规则包括：满足模型拟合优度限值和置信度限值。