[发明专利]双副本并行数据库的查询方法和装置有效
申请号: | 201510908947.7 | 申请日: | 2015-12-10 |
公开(公告)号: | CN105550274B | 公开(公告)日: | 2019-01-25 |
发明(设计)人: | 狄静舒 | 申请(专利权)人: | 曙光信息产业(北京)有限公司 |
主分类号: | G06F16/903 | 分类号: | G06F16/903 |
代理公司: | 北京新知远方知识产权代理事务所(普通合伙) 11397 | 代理人: | 郭玉梅 |
地址: | 100193 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 副本 并行 数据库 查询 方法 装置 | ||
本发明提供了一种双副本并行数据库的查询方法和装置,属于数据库技术领域。方法包括:获取查询请求及数据的存储单元信息;根据查询请求及数据的存储单元信息形成多个执行计划;根据各执行计划中执行节点的资源利用率、执行节点的预估数据传输量计算各执行计划的资源占用率;根据资源占用率从执行计划中选择一个执行计划;根据选择的执行计划查询数据。本发明根据各执行计划中执行节点的资源利用率、执行节点的预估数据传输量计算各执行计划的资源占用率,根据资源占用率从执行计划中选择一个执行计划,由于资源占用情况影响数据转移耗时及数据查询效率,使得最终查询时执行计划的数据转移耗时短,数据查询效率高。
技术领域
本发明涉及数据库技术领域,尤其涉及双副本并行数据库的查询方法和装置。
背景技术
为了保证数据安全,提供24小时无间断数据服务,双副本并行数据库成为常用数据存储方式,相应的,双副本并行数据库的数据查询的效率也成为关注重点。其中,并行数据库为在MPP(Massively Parallel Processing,大规模并行处理系统)和集群并行计算环境的基础上建立的数据库系统。双副本并行数据库中的同一数据同时存储于两个并行数据库中,两个并行数据库中的相同数据互备。
目前,双副本并行数据库中数据均衡分布在集群节点上,数据查询时,通过对数据进行分片,并按照分片生成并行执行计划并启动多个线程并行执行查询请求。
当集群规模较大时,节点间的数据传输耗时较长,上述方法中数据均衡分布在集群节点上,使得数据查询时的数据转移耗时较长,影响了数据查询效率。
发明内容
为解决上述问题,本发明实施例提出了一种双副本并行数据库的查询方法和装置。
一方面,本发明实施例提供了一种双副本并行数据库的查询方法,包括:
获取查询请求及数据的存储单元信息;
根据所述查询请求及数据的存储单元信息形成多个执行计划,其中,执行计划包括执行操作和与所述执行操作相关的执行节点;
根据各执行计划中执行节点的资源利用率、执行节点的预估数据传输量计算各执行计划的资源占用率;
根据所述资源占用率从所述执行计划中选择一个执行计划;
根据选择的执行计划查询数据。
可选地,所述根据所述数据的存储单元信息形成多个执行计划之前,还包括:
根据数据的数据量及查询类型选择所述数据的存储单元;
将数据存储于所述存储单元内的并行数据库中;
将数据的存储单元信息存储于元数据库中。
可选地,获取数据的存储单元信息,包括:
从所述元数据库中获取数据的存储单元信息;
所述根据所述查询请求及数据的存储单元信息形成多个执行计划,包括:
根据所述数据的存储单元信息和所述查询请求的类型将所述查询请求拆分成多个执行操作,确定各执行操作对应的执行节点;
根据执行操作及执行节点形成多个执行计划。
可选地,每个执行计划包含多个查询子任务;
所述根据各执行计划中执行节点的资源利用率、执行节点的预估数据传输量计算各执行计划的资源占用率,包括:
对于任一执行计划,所述任一执行计划的资源占用率通过如下公式确定:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于曙光信息产业(北京)有限公司,未经曙光信息产业(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201510908947.7/2.html,转载请声明来源钻瓜专利网。
- 上一篇:基于视觉的列表页识别方法
- 下一篇:一种基于键值对的内存数据库查询方法及装置