[发明专利]任务生成方法、系统和存储介质在审
申请号: | 201910330900.5 | 申请日: | 2019-04-23 |
公开(公告)号: | CN110209893A | 公开(公告)日: | 2019-09-06 |
发明(设计)人: | 康林;段效晨;易帆;赵艳杰;秦占明 | 申请(专利权)人: | 北京奇艺世纪科技有限公司 |
主分类号: | G06F16/903 | 分类号: | G06F16/903;G06F16/9038;G06F16/2458;G06F16/27 |
代理公司: | 北京润泽恒知识产权代理有限公司 11319 | 代理人: | 莎日娜 |
地址: | 100080 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 任务生成 预设 指标数据 标记文件 数据同步设备 存储介质 存储设备 响应式 商业智能 手动触发 数据仓库 同步完成 用户关注 查询 表生成 监控 构建 调用 保存 | ||
1.一种任务生成方法,其特征在于,包括:
数据同步设备获取商业智能BI数据库中的预设指标数据,并将所述预设指标数据同步到数据仓库工具hive表中;
所述数据同步设备在同步完成后,生成与所述预设指标数据对应的标记文件,并将所述标记文件保存到预设存储设备;
任务生成设备对所述预设存储设备进行监控,当监控到所述标记文件生成时,调用任务生成接口,根据所述hive表生成与所述预设指标数据对应的响应式查询任务。
2.根据权利要求1所述的方法,其特征在于,所述数据同步设备获取BI数据库中的预设指标数据,并将所述预设指标数据同步到数据仓库工具hive表中,包括:
所述数据同步设备在所述BI数据库中预设时间的预设指标数据计算完成后,按照预设时间段长度,分时段获取所述BI数据库中的预设指标数据,并将所述预设指标数据同步到所述hive表中;
所述数据同步设备在同步完成后,生成与所述预设指标数据对应的标记文件,并将所述标记文件保存到预设存储设备,包括:
所述数据同步设备在每一时段的预设指标数据同步完成后,生成该时段预设指标数据对应的标记文件,并将该标记文件保存到预设存储设备。
3.根据权利要求2所述的方法,其特征在于,所述任务生成设备对所述预设存储设备进行监控,当监控到所述标记文件生成时,调用任务生成接口,根据所述hive表生成与所述预设指标数据对应的响应式查询任务,包括:
所述任务生成设备对所述预设存储设备进行监控,当监控到设定数量的连续时段对应的标记文件均生成时,调用任务生成接口,根据所述hive表生成与所述连续时段的预设指标数据对应的响应式查询任务。
4.根据权利要求3所述的方法,其特征在于,所述任务生成设备调用任务生成接口,根据所述hive表生成与所述连续时段的预设指标数据对应的响应式查询任务,包括:
所述任务生成设备调用任务生成接口,对所述hive表中所述连续时段的预设指标数据进行统计,并根据统计结果更新或新建与所述连续时段对应的数据段,并根据更新或新建后得到的数据段生成所述响应式查询任务。
5.根据权利要求1所述的方法,其特征在于,所述任务生成设备对所述预设存储设备进行监控,包括:
所述任务生成设备按照指定间隔时间检测所述预设存储设备是否有所述预设指标数据对应的标记文件。
6.根据权利要求1所述的方法,其特征在于,所述响应式查询任务为麒麟任务。
7.一种任务生成系统,其特征在于,包括:
数据同步设备,用于获取商业智能BI数据库中的预设指标数据,并将所述预设指标数据同步到数据仓库工具hive表中;在同步完成后,生成与所述预设指标数据对应的标记文件,并将所述标记文件保存到预设存储设备;
任务生成设备,用于对所述预设存储设备进行监控,当监控到所述标记文件生成时,调用任务生成接口,根据所述hive表生成与所述预设指标数据对应的响应式查询任务;
预设存储设备,用于保存所述标记文件。
8.根据权利要求7所述的系统,其特征在于,所述数据同步设备包括:
分时段同步模块,用于在所述BI数据库中预设时间的预设指标数据计算完成后,按照预设时间段长度,分时段获取所述BI数据库中的预设指标数据,并将所述预设指标数据同步到所述hive表中;
标记文件生成模块,用于在每一时段的预设指标数据同步完成后,生成该时段预设指标数据对应的标记文件,并将该标记文件保存到预设存储设备。
9.根据权利要求8所述的系统,其特征在于,所述任务生成设备具体用于:
所述任务生成设备对所述预设存储设备进行监控,当监控到设定数量的连续时段对应的标记文件均生成时,调用任务生成接口,根据所述hive表生成与所述连续时段的预设指标数据对应的响应式查询任务。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京奇艺世纪科技有限公司,未经北京奇艺世纪科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910330900.5/1.html,转载请声明来源钻瓜专利网。