[发明专利]一种数据处理方法和装置在审
申请号: | 202110948454.1 | 申请日: | 2021-08-18 |
公开(公告)号: | CN113641421A | 公开(公告)日: | 2021-11-12 |
发明(设计)人: | 李政 | 申请(专利权)人: | 北京沃东天骏信息技术有限公司 |
主分类号: | G06F9/445 | 分类号: | G06F9/445;G06F16/23;G06F16/27;G06F16/2455 |
代理公司: | 中原信达知识产权代理有限责任公司 11219 | 代理人: | 张一军;王安娜 |
地址: | 100176 北京市北京经济技术*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据处理 方法 装置 | ||
1.一种数据处理方法,其特征在于,包括:
接收业务应用系统发送的数据计算请求;其中,所述数据计算请求携带计算逻辑脚本标识和计算参数;
根据所述计算逻辑脚本标识匹配出对应的计算逻辑脚本;
在大数据计算框架中运行所述计算逻辑脚本,从而根据所述计算参数得到计算结果;
将所述计算结果推送至业务数据库,以使所述业务应用系统在所述业务数据库中查询所述计算结果。
2.根据权利要求1所述的方法,其特征在于,接收业务应用系统发送的数据计算请求之前,还包括:
接收业务应用系统上传的计算逻辑脚本;
生成所述计算逻辑脚本对应的计算逻辑脚本标识,并存储所述计算逻辑脚本与所述计算逻辑脚本标识的对应关系;
将所述计算逻辑脚本标识返回至所述业务应用系统。
3.根据权利要求1所述的方法,其特征在于,在大数据计算框架中运行所述计算逻辑脚本,从而根据所述计算参数得到计算结果,包括:
将所述计算逻辑脚本、所述计算参数和脚本启动程序打包为一个程序包;其中,所述脚本启动程序为启动计算逻辑脚本的shell命令;
在大数据计算框架中运行所述程序包,从而输出计算结果。
4.根据权利要求3所述的方法,其特征在于,在大数据计算框架中运行所述程序包,从而输出计算结果,包括:
通过所述脚本启动程序启动所述计算逻辑脚本,并生成计算实例标识;
将所述计算实例标识返回至所述业务应用系统;
在大数据计算框架中基于所述计算参数运行所述计算逻辑脚本,以执行计算任务;
运行结束后输出计算结果。
5.根据权利要求4所述的方法,其特征在于,生成计算实例标识之后,还包括:
将所述计算参数和所述计算实例标识写入文本文件;
将所述文本文件存放在所述计算逻辑脚本的同一目录下,以供所述计算逻辑脚本读取。
6.根据权利要求4所述的方法,其特征在于,通过脚本启动程序启动所述计算逻辑脚本之后,还包括:
向所述业务应用系统返回任务启动成功的消息;
输出计算结果之后,还包括:
向所述业务应用系统返回任务完成的消息。
7.根据权利要求4所述的方法,其特征在于,将所述计算结果推送至业务数据库,以使所述业务应用系统在所述业务数据库中查询所述计算结果,包括:
将所述计算实例标识与所述计算结果的对应关系推送至业务数据库,以使所述业务应用系统在所述业务数据库中通过所述计算实例标识查询所述计算结果。
8.一种数据处理装置,其特征在于,包括:
接收模块,用于接收业务应用系统发送的数据计算请求;其中,所述数据计算请求携带计算逻辑脚本标识和计算参数;
匹配模块,用于根据所述计算逻辑脚本标识匹配出对应的计算逻辑脚本;
计算模块,用于在大数据计算框架中运行所述计算逻辑脚本,从而根据所述计算参数得到计算结果;
推送模块,用于将所述计算结果推送至业务数据库,以使所述业务应用系统在所述业务数据库中查询所述计算结果。
9.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行时,所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
10.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京沃东天骏信息技术有限公司,未经北京沃东天骏信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110948454.1/1.html,转载请声明来源钻瓜专利网。
- 上一篇:样本成分提取装置及方法
- 下一篇:渣锭引锭板自动切割打磨工艺