[发明专利]一种任务切分方法、装置、介质及电子设备有效
申请号: | 201811387630.3 | 申请日: | 2018-11-21 |
公开(公告)号: | CN109597810B | 公开(公告)日: | 2021-11-09 |
发明(设计)人: | 段勇 | 申请(专利权)人: | 金色熊猫有限公司 |
主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F16/2452 |
代理公司: | 隆天知识产权代理有限公司 72003 | 代理人: | 郑特强;章侃铱 |
地址: | 中国香港铜锣湾希慎*** | 国省代码: | 香港;81 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 任务 切分 方法 装置 介质 电子设备 | ||
本发明实施例提供了一种任务切分方法、装置、介质及电子设备,该任务切分方法包括:将所获取的查询语言数据进行切分,获得至少两个查询语言子数据;基于查询语言子数据,生成对应数量的查询任务,并整合查询任务,生成查询任务列表;向数据查询单元发送查询任务列表。本发明实施例的技术方案能够将输入的查询语言切分为查询子任务,发布到不同的查询节点上进行并行查询,同时并行从数据源读取目标数据,高效、快速的获取查询结果。
技术领域
本发明涉及计算机技术领域,具体而言,涉及一种任务切分方法、装置、介质及电子设备。
背景技术
在医院研究领域中,通常有很多数据需求,这些需求不是一次检索就能够获得的,而是需要很多次检索,并且在检索过程中有一些简单的时间计算与比较。
现有数据检索技术方案主要有两种:(1)根据业务的需求进行顺序计算;(2)通过spark进行离线计算。
而上述现有技术方案存在以下缺点:
(1)如果根据业务需求进行顺序编程,则数据检索的性能以及可维护性较差;
(2)受限于资源抢占及数据源读取压力,如果用spark进行数据检索会对数据源会造成一定的稳定性压力。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本发明实施例的目的在于提供一种任务切分方法、装置、介质及电子设备,进而至少在一定程度上克服相关技术中数据检索性能低下以及可能造成数据源不稳定的一个或多个问题。
本发明的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本发明的实践而习得。
根据本发明实施例的第一方面,提供了一种数据查询实现方法,包括:
将所获取的查询语言数据进行切分,获得至少两个查询语言子数据;
基于所述查询语言子数据,生成对应数量的查询任务,并整合所述查询任务,生成查询任务列表;
输出所述查询任务列表。
在本发明的一些实施例中,上述将所获取的查询语言数据进行切分,包括:对所述查询语言数据进行垂直切分和/或水平切分。
在本发明的一些实施例中,上述查询语言数据进行垂直切分和/或水平切分,包括:
按照预设划分规则将所述查询语言数据的列数据拆分至至少两个数据表中,和/或按照预设划分规则将所述查询语言数据的行数据拆分至至少两个数据表或数据库中。
在本发明的一些实施例中,上述对所述查询语言数据进行垂直切分和/或水平切分之后,包括:
通过预设的主键规则生成主键,将垂直切分后所获得的查询语言子数据进行关联;
通过预设的拆分标识位,将水平切分后所获得的查询语言子数据进行关联。
根据本发明实施例的第二方面,提供了一种数据查询方法,包括:
接收到查询任务列表后,将所述查询任务列表中经垂直切分和/或水平切分后的查询任务进行优先排序,获得排序后的查询任务列表;
执行所述排序后的查询任务列表中的各查询任务,从数据源并行读取目标数据,获得包含有所述目标数据的查询结果;
输出并展示所述查询结果。
在本发明的一些实施例中,上述执行所述排序后的查询任务列表中的各查询任务,包括:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于金色熊猫有限公司,未经金色熊猫有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811387630.3/2.html,转载请声明来源钻瓜专利网。