[发明专利]一种大数据任务调度方法、电子设备、存储介质及平台在审
| 申请号： | 201810484558.X | 申请日： | 2018-05-20 |
| 公开（公告）号： | CN108664657A | 公开（公告）日： | 2018-10-16 |
| 发明（设计）人： | 汪凯;张青松;刘定文;李强 | 申请（专利权）人： | 湖北九州云仓科技发展有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 北京力量专利代理事务所(特殊普通合伙) 11504 | 代理人： | 李强 |
| 地址： | 430000 湖北省武汉市东西湖区东吴*** | 国省代码： | 湖北;42 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及一种大数据任务调度方法、电子设备、存储介质及平台，该方法包括步骤：获取配置信息，抽取数据，计算数据，持久化数据，获取用户在大数据任务调度平台配置的待抽取数据库、抽取数据的结构化查询语句、计算数据的结构化查询语句、持久化方式；采用数据抽取程序调用抽取数据的结构化查询语句抽取待抽取数据库的数据至Hadoop分布式系统；采用数据计算程序调用计算数据的结构化查询语句读取抽取后的数据进行计算；将计算后的数据按照持久化方式进行持久化。本发明实现了抽取数据命令由程序生成，计算数据的专用程序由管理程序执行，数据抽取和计算定时执行，数据计算程序可配置，针对不同的任务只需配置对应的计算数据的结构化查询语句。 | ||
| 搜索关键词： | 结构化查询语句 计算数据 抽取数据 持久化 抽取 大数据 存储介质 电子设备 任务调度 数据计算 数据库 任务调度平台 数据抽取程序 读取 分布式系统 程序调用 程序生成 管理程序 配置信息 数据抽取 专用程序 可配置 配置的 调用 配置 | ||
【主权项】：
1.一种大数据任务调度方法，其特征在于包括以下步骤：获取配置信息，获取用户在大数据任务调度平台配置的待抽取数据库、抽取数据的结构化查询语句、计算数据的结构化查询语句、持久化方式；抽取数据，采用数据抽取程序调用所述抽取数据的结构化查询语句抽取所述待抽取数据库的数据至Hadoop分布式系统；计算数据，采用数据计算程序调用所述计算数据的结构化查询语句读取抽取后的数据进行计算；持久化数据，将计算后的数据按照所述持久化方式进行持久化。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于湖北九州云仓科技发展有限公司，未经湖北九州云仓科技发展有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201810484558.X/，转载请声明来源钻瓜专利网。
