[发明专利]一种数据查询方法和系统有效
申请号: | 201711160500.1 | 申请日: | 2017-11-20 |
公开(公告)号: | CN110019339B | 公开(公告)日: | 2021-11-30 |
发明(设计)人: | 韩显强 | 申请(专利权)人: | 北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司 |
主分类号: | G06F16/2453 | 分类号: | G06F16/2453;G06F16/2455 |
代理公司: | 中原信达知识产权代理有限责任公司 11219 | 代理人: | 张一军;杨晓伟 |
地址: | 100195 北京市海淀区杏石口路6*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据 查询 方法 系统 | ||
1.一种数据查询方法,其特征在于,包括:
查询配置文件,以获取配置信息和待查询目标文件的主键的偏移值;所述配置信息中包括带有线程池规格的加强执行时间区间,以及非加强执行时间区间的线程池规格,所述线程池规格为线程池中最多能够同时执行的线程数;
根据所述加强执行时间区间和所述非加强执行时间区间的线程池规格,获取当前数据查询所使用的线程池规格;
根据所述配置信息和偏移值,从线程池获取进行数据查询所需的线程,以确定每个线程查询的主键区间;
每个线程根据对应的主键区间和预设查询条件分别对所述待查询目标文件进行数据查询。
2.根据权利要求1所述的方法,其特征在于,所述根据所述配置信息和偏移值,获取进行数据查询所需的线程,以确定每个线程查询的主键区间,包括:
根据需要查询的总数据条数和每个线程的限制查询数据条数,获取进行数据查询所需的线程数;其中,所述配置信息包括所述总数据条数和所述限制查询数据条数;
根据所述线程数从线程池获取对应数量的线程;
根据所述偏移值和所述限制查询数据条数,获取每个线程查询的主键区间。
3.根据权利要求1所述的方法,其特征在于,所述查询配置文件的步骤之前,还包括:接收根据执行频率和负载均衡原则分配的数据查询任务。
4.根据权利要求2所述的方法,其特征在于,所述查询配置文件,以获取配置信息和待查询目标文件的主键的偏移值的步骤之后以及所述根据所述配置信息和偏移值的步骤之前,还包括:
根据所述配置文件确认无需退出当前数据查询时,根据所述总数据条数更新所述偏移值;
将更新值作为下一次数据查询的主键的偏移值,并保存在所述配置文件中。
5.根据权利要求2所述的方法,其特征在于,所述根据需要查询的总数据条数和每个线程的限制查询数据条数,获取进行数据查询所需的线程数的步骤之后以及所述根据所述线程数从线程池获取对应数量的线程的步骤之前,还包括:
确认所述线程数超出所述线程池规格时,将所述线程数调整为所述线程池规格允许的最大线程数。
6.一种数据查询系统,其特征在于,包括:
文件查询模块,用于查询配置文件,以获取配置信息和待查询目标文件的主键的偏移值;所述配置信息中包括带有线程池规格的加强执行时间区间,以及非加强执行时间区间的线程池规格,所述线程池规格为线程池中最多能够同时执行的线程数;
调整模块,用于根据所述加强执行时间区间和所述非加强执行时间区间的线程池规格,获取当前数据查询所使用的线程池规格;
确定模块,用于根据所述配置信息和偏移值,从线程池获取进行数据查询所需的线程,以确定每个线程查询的主键区间;
数据查询模块,用于每个线程根据对应的主键区间和预设查询条件分别对所述待查询目标文件进行数据查询。
7.根据权利要求6所述的系统,其特征在于,所述确定模块,还用于:根据需要查询的总数据条数和每个线程的限制查询数据条数,获取进行数据查询所需的线程数;其中,所述配置信息包括所述总数据条数和所述限制查询数据条数;
根据所述线程数从线程池获取对应数量的线程;以及
根据所述偏移值和所述限制查询数据条数,获取每个线程查询的主键区间。
8.根据权利要求6所述的系统,其特征在于,所述系统还包括:接收模块,用于接收根据执行频率和负载均衡原则分配的数据查询任务。
9.根据权利要求7所述的系统,其特征在于,所述系统还包括:更新模块,用于根据所述配置文件确认无需退出当前数据查询时,根据所述总数据条数更新所述偏移值;以及
将更新值作为下一次数据查询的主键的偏移值,并保存在所述配置文件中。
10.根据权利要求7所述的系统,其特征在于,所述调整模块还用于确认所述线程数超出所述线程池规格时,将所述线程数调整为所述线程池规格允许的最大线程数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司,未经北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711160500.1/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一键获取跨平台信息的全文检索系统
- 下一篇:数据存储/读取方法、装置及系统
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置