[发明专利]一种基于数据仓库hive的工业离线计算调度方法在审
申请号: | 202010629812.8 | 申请日: | 2020-07-03 |
公开(公告)号: | CN111949653A | 公开(公告)日: | 2020-11-17 |
发明(设计)人: | 洪蒙纳;方主升;李继庚 | 申请(专利权)人: | 广州博依特智能信息科技有限公司 |
主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F16/2455;G06F16/27;G06F16/28 |
代理公司: | 广州三环专利商标代理有限公司 44202 | 代理人: | 郭浩辉;麦小婵 |
地址: | 510000 广东省广州市黄*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明提供一种基于数据仓库hive的工业离线计算调度方法,涉及工业大数据技术领域。该基于数据仓库hive的工业离线计算调度方法,包括以下步骤:S1、hive分区表用采集的日期进行按天分区,分区表字段定义为pt,格式是yyyymmdd;S2、配置系统的采集频率参数为小时调度;S3、配置调度参数$[yyyymmdd],表示调度时的当前日期;S4、计算根据时间计算pt范围,代入公式,计算得到对应的要计算分区范围;S5、调度计算,输出计算结果;S6、允许补录和修正规定周期内的数据。该基于数据仓库hive的工业离线计算调度方法,在使用上结合工业大数据仓库的场景实际进行任务调度,对当天的数据小时级别实时处理,对历史周期的数据天粒度处理,实现简单,维护成本低。 | ||
搜索关键词: | 一种 基于 数据仓库 hive 工业 离线 计算 调度 方法 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广州博依特智能信息科技有限公司,未经广州博依特智能信息科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/202010629812.8/,转载请声明来源钻瓜专利网。
- 上一篇:异常交易数据的识别方法、装置及设备
- 下一篇:一种防霉抗菌地毯的生产方法