[发明专利]一种数据查询方法和系统

说明书

本发明公开了一种数据查询方法和系统，涉及计算机技术领域。该方法的一具体实施方式包括：查询配置文件，以获取配置信息和待查询目标文件的主键的偏移值；根据所述配置信息和偏移值，获取进行数据查询所需的线程，以确定每个线程查询的主键区间；每个线程根据对应的主键区间和预设查询条件分别对所述待查询目标文件进行数据查询。该实施方式按照配置文件中的配置信息和偏移值获取进行数据查询的线程和每个线程查询的主键区间，分数据段、多线程的查询数据，解决了现有技术进行数据查询耗时长、不稳定的问题。

技术领域

本发明涉及计算机领域，尤其涉及一种数据查询方法和系统。

背景技术

电商公司的单张用户数据表一般为亿级别，针对用户做的各种日常营销活动都需要基于这些用户数据表展开，比如定期给达到某种等级的用户发抵用券、定期给达到某些条件的用户发消息、定期给所有用户重新计算成长值等级等。如何从亿级别的用户数据表中高效快速且可控地查询出需要的数据成为评价数据查询系统非常重要的指标。

现有技术在进行数据查询时(比如从用户数据表中查询出符合抵用券发放条件的用户)，一般以定时任务的方式，按照业务要求的执行频率(比如每月执行一次)进行查询。具体有以下两种实现方式：方式一：当数据查询任务被触发时，将其发送到业务服务集群中的某一台业务服务器上，该业务服务器根据查询条件以循环分页(Page)、查询固定条数的方式到数据库中查询当前分页的数据；然后将Page+1，按照上述方式继续查询下一分页的数据，直到无法查询到新数据时停止。方式二：当数据查询任务被触发时，根据配置表将其发送到业务服务集群中的所有业务服务器中；每个业务服务器按照配置表中配置的查询区间，根据查询条件以循环分页、查询固定条数的方式到数据库中查询当前分页数据；然后将Page+1，按照上述方式查询下一分页的数据，直到无法查询到新数据时停止。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

(1)上述两种方式中，不管数据查询任务是在业务服务集群中的一台业务服务器还是多台业务服务器上执行，由于数据量大以致执行时间过长，进而导致数据查询任务易中断，运行状态不稳定。比如：执行期间内有业务上线需要重启业务服务器，或者某台业务服务器由于长时间执行大量数据以致负载过高，均会导致数据查询任务的中断。

(2)需要人力持续关注数据查询任务是否中断，如果发现中断，还需要人力排查哪些数据已被处理，哪些数据未被处理，然后手动触发定时器以继续执行数据查询任务。

发明内容

有鉴于此，本发明实施例提供一种数据查询方法和系统，按照配置文件中的配置信息和偏移值获取进行数据查询的线程和每个线程查询的主键区间，分数据段、多线程的查询数据，解决了现有技术进行数据查询耗时长、不稳定的问题。

为实现上述目的，根据本发明实施例的一个方面，提供了一种数据查询方法。

本发明实施例的一种数据查询方法，包括：查询配置文件，以获取配置信息和待查询目标文件的主键的偏移值；根据所述配置信息和偏移值，获取进行数据查询所需的线程，以确定每个线程查询的主键区间；每个线程根据对应的主键区间和预设查询条件分别对所述待查询目标文件进行数据查询。

可选地，所述根据所述配置信息和偏移值，获取进行数据查询所需的线程，以确定每个线程查询的主键区间，包括：根据需要查询的总数据条数和每个线程的限制查询数据条数，获取进行数据查询所需的线程数；其中，所述配置信息包括所述总数据条数和所述限制查询数据条数；根据所述线程数从线程池获取对应数量的线程；根据所述偏移值和所述限制查询数据条数，获取每个线程查询的主键区间。

可选地，所述查询配置文件的步骤之前，还包括：接收根据执行频率和负载均衡原则分配的数据查询任务。