[发明专利]一种数据查询方法及系统在审
申请号: | 201910521866.X | 申请日: | 2019-06-17 |
公开(公告)号: | CN110263061A | 公开(公告)日: | 2019-09-20 |
发明(设计)人: | 王李平;李涛 | 申请(专利权)人: | 郑州阿帕斯科技有限公司 |
主分类号: | G06F16/2455 | 分类号: | G06F16/2455;G06F16/2458;G06F16/22;G06F16/27 |
代理公司: | 北京国昊天诚知识产权代理有限公司 11315 | 代理人: | 姜凤岩;南霆 |
地址: | 450000 河南省郑州市河南自贸试验区郑州*** | 国省代码: | 河南;41 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 分区文件 索引信息 磁盘 分布式服务器 数据查询请求 数据查询 内存 缓存 数据查询效率 业务数据存储 零拷贝技术 查询数据 存储位置 分区处理 快速定位 快速读取 内存空间 数据传输 数据存储 数据分区 数据缓存 数据拷贝 网卡接口 大数据 服务器 存储 占用 响应 分配 客户 | ||
1.一种数据查询方法,其特征在于,所述方法包括:
分布式服务器接收客户端针对目标业务数据的查询请求,其中,所述查询请求携带有所述目标业务数据的数据标识,所述查询请求是所述客户端根据数据分区服务器返回的目标设备标识发送的,所述目标设备标识是所述数据分区服务器根据所述数据标识在多个分布式服务器中选取的所述目标业务数据所在的分布式服务器的标识信息;
在本地内存中存储的索引文件信息中,根据所述数据标识,查询所述目标业务数据的存储位置信息,其中,所述索引文件信息包括:业务数据的数据标识与存储位置信息之间的对应关系;
基于所述目标业务数据对应的所述存储位置信息,从本地磁盘中读取所述目标业务数据,其中,所述本地磁盘中存储有数据分区服务器预先分配的包含多个业务数据的数据分区文件;
利用零拷贝技术将读取到的所述目标业务数据传输至预设网卡接口,以通过所述网卡接口将所述目标业务数据发送至所述客户端。
2.根据权利要求1所述的方法,其特征在于,在接收客户端针对目标业务数据的查询请求之前,还包括:
接收所述数据分区服务器发送的数据分区文件,其中,所述数据分区文件是所述数据分区服务器对大数据进行分区处理得到、并根据数据分区文件的文件标识和分布式服务器的设备标识发送的;
将接收到的所述数据分区文件存放在本地磁盘中,其中,所述数据分区文件包括:多个业务数据;
根据各所述业务数据在所述本地磁盘中的存储位置信息,生成所述数据分区文件的索引文件信息;
将所述索引文件信息存储至本地内存中。
3.根据权利要求2所述的方法,其特征在于,所述数据分区文件是通过如下方式得到的:
所述数据分区服务器对多个待分区的业务数据进行预设处理,得到各所述待分区的业务数据对应的键值对,其中,所述键值对包括:数据标识和数据体;
针对每个所述待分区的业务数据,对该待分区的业务数据的所述数据标识进行哈希处理,得到该待分区的业务数据的哈希值;
根据各所述待分区的业务数据的所述哈希值,对所述多个待分区的业务数据进行分区处理,得到多个数据分区文件。
4.根据权利要求3所述的方法,其特征在于,在根据各所述待分区的业务数据的所述哈希值,对所述多个待分区的业务数据进行分区处理,得到多个数据分区文件之后,还包括:
所述数据分区服务器利用操作系统提供的文件拷贝功能向对应的分布式服务器发送拷贝指令,其中,所述拷贝指令携带有所述数据分区文件。
5.根据权利要求3所述的方法,其特征在于,所述根据各所述待分区的业务数据的所述哈希值,对所述多个待分区的业务数据进行分区处理,得到多个数据分区文件,包括:
将各所述待分区的业务数据的所述哈希值与预设分区数量相除,得到所述业务数据对应的余数,其中,所述预设分区数量与分布式服务器的数量相等;
将余数相同的至少一个所述业务数据划分到一个数据分区文件中,其中,所述数据分区文件的文件标识与其包含的业务数据对应的余数一一对应,各所述余数与分布式服务器的设备标识具有预设对应关系。
6.根据权利要求2所述的方法,其特征在于,所述业务数据包括:数据标识和数据体,所述数据分区文件包括业务数据对应的所述数据体;
所述根据各所述业务数据在所述本地磁盘中的存储位置信息,生成所述数据分区文件的索引文件信息,包括:
针对所述数据分区文件中的每个数据体,确定该数据体在所述本地磁盘中的存储位置信息与该数据体对应的所述数据标识之间的对应关系;
根据各所述业务数据对应的所述对应关系,生成所述数据分区文件的索引文件信息。
7.根据权利要求2所述的方法,其特征在于,若所述索引文件信息还存储于本地磁盘中;
在本地内存中存储的索引文件信息中,根据所述数据标识,查询所述目标业务数据的存储位置信息之前,还包括:
判断本地内存中是否存在索引文件信息;
若不存在,则将所述本地磁盘中存储的所述索引文件信息加载到所述本地内存中。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于郑州阿帕斯科技有限公司,未经郑州阿帕斯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910521866.X/1.html,转载请声明来源钻瓜专利网。