[发明专利]一种数据处理的方法、系统、电子设备和可读存储介质在审
申请号: | 201710286490.X | 申请日: | 2017-04-27 |
公开(公告)号: | CN108805593A | 公开(公告)日: | 2018-11-13 |
发明(设计)人: | 高青;陈艺天;蒋佳涛;鲁艳阳 | 申请(专利权)人: | 北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司 |
主分类号: | G06Q30/02 | 分类号: | G06Q30/02;G06F17/30 |
代理公司: | 中原信达知识产权代理有限责任公司 11219 | 代理人: | 张一军;姜劲 |
地址: | 100195 北京市海淀区杏石口路6*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 调度机构 数据处理 拟合 可读存储介质 电子设备 数据仓库 服务器 接收服务器 海量数据 价格变动 价格弹性 结果返回 科学计算 数据分发 数据拟合 定价 敏感 保存 返回 保证 | ||
1.一种数据处理的方法,其特征在于,包括:
调度机构从数据表中读取数据,并将所述数据分发给多个服务器;
所述服务器对接收的数据进行数据拟合,并将所述数据的拟合结果返回给所述调度机构;
所述调度机构接收所述服务器返回的所述拟合结果,并将所述拟合结果发送给数据仓库以便保存到所述数据仓库中。
2.根据权利要求1所述的方法,其特征在于,所述调度机构为spark。
3.根据权利要求1所述的方法,其特征在于,调度机构从数据表中读取数据之前,还包括:
数据加工模块将所述数据仓库中的数据根据商品种类以时间段为单位进行汇总并生成所述数据表。
4.根据权利要求3所述的方法,其特征在于,所述时间段为天。
5.根据权利要求1所述的方法,其特征在于,
所述拟合结果包括数据模型、模型拟合优度和置信度。
6.根据权利要求1所述的方法,其特征在于,
所述服务器在进行数据拟合之前,对所述数据进行预处理以删除异常值。
7.根据权利要求1或5所述的方法,其特征在于,
所述服务器在进行数据拟合之后,根据预订的筛选规则对所述拟合结果进行筛选,所述筛选规则包括:满足模型拟合优度限值和置信度限值。
8.根据权利要求1所述的方法,其特征在于,通过调用科学计算包进行所述数据拟合。
9.一种数据处理的系统,其特征在于,包括:
数据分发模块,用于调度机构从数据表中读取数据,并将所述数据分发给多个服务器;
数据处理模块,用于所述服务器对接收的数据进行数据拟合,并将所述数据的拟合结果返回给所述调度机构;
数据接收模块,用于所述调度机构接收所述服务器返回的所述拟合结果,并将所述拟合结果发送给数据仓库以便保存到所述数据仓库中。
10.根据权利要求9所述的系统,其特征在于,所述调度机构为spark。
11.根据权利要求9所述的系统,其特征在于,还包括数据加工模块,用于:
调度机构从数据表中读取数据之前,将所述数据仓库中的数据根据商品种类以时间段为单位进行汇总并生成所述数据表。
12.根据权利要求11所述的系统,其特征在于,所述时间段为天。
13.根据权利要求9所述的系统,其特征在于,
所述拟合结果包括数据模型、模型拟合优度和置信度。
14.根据权利要求9所述的系统,其特征在于,
所述服务器在进行数据拟合之前,对所述数据进行预处理以删除异常值。
15.根据权利要求9或13所述的系统,其特征在于,
所述服务器在进行数据拟合之后,根据预订的筛选规则对所述拟合结果进行筛选,所述筛选规则包括:满足模型拟合优度限值和置信度限值。
16.根据权利要求9所述的系统,其特征在于,通过调用科学计算包进行所述数据拟合。
17.一种数据处理的终端设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-8中任一所述的方法。
18.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-8中任一所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司,未经北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710286490.X/1.html,转载请声明来源钻瓜专利网。
- 上一篇:闭环综艺智库评分系统及方法
- 下一篇:信息推送方法和装置