[发明专利]数据获取方法、装置、计算机设备和存储介质

说明书

本申请涉及一种数据获取方法、装置、计算机设备和存储介质。所述方法涉及海量数据处理，包括：接收数据获取消息，并根据数据获取消息确定待获取数据所属的各待查询数据库；获取各待查询数据库对应预设的数据查询线程；根据数据获取消息和数据查询线程，从各待查询数据库中获取待获取数据；根据数据获取消息确定数据聚合条件；按照数据聚合条件将待获取数据进行聚合处理，获得与数据获取消息对应的聚合数据。采用本方法能够降低数据获取过程的耗时，提高数据获取的效率。

技术领域

本申请涉及计算机技术领域，特别是涉及一种数据获取方法、装置、计算机设备和存储介质。

背景技术

随着计算机技术的发展，越来越多的业务系统通过互联网在线上进行实现，如银行服务、保险服务、在线购物等，各业务系统处理、存储的数据量呈指数增长，现在已然进入了大数据时代，各种大数据分析解决方案也应运而生。

目前，在大数据分析、处理方案中，需要从各业务系统对应的数据源获得各种待处理数据，尤其是涉及到跨领域业务系统的数据分析处理时，各领域业务系统的数据源之间逻辑涉及复杂，如何从各数据源中快速获得满足处理需求的数据，降低数据获取过程的耗时，已经成为当下亟须解决的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够降低数据获取耗时、提高数据获取效率的数据获取方法、装置、计算机设备和存储介质。

一种数据获取方法，所述方法包括：

接收数据获取消息，并根据数据获取消息确定待获取数据所属的各待查询数据库；

获取各待查询数据库对应预设的数据查询线程；

根据数据获取消息和数据查询线程，从各待查询数据库中获取待获取数据；

根据数据获取消息确定数据聚合条件；

按照数据聚合条件将待获取数据进行聚合处理，获得与数据获取消息对应的聚合数据。

在其中一个实施例中，获取各待查询数据库对应预设的数据查询线程的步骤包括：

查询预设的数据查询线程池；

确定待查询数据库与对应的数据查询线程之间的映射关系；

根据映射关系从数据查询线程池中获得数据查询线程。

在其中一个实施例中，根据数据获取消息和数据查询线程，从各待查询数据库中获取待获取数据的步骤包括：

根据数据获取消息确定待获取数据的线程查询条件；

根据线程查询条件，更新数据查询线程；

根据更新后的数据查询线程，从各待查询数据库中获取待获取数据。

在其中一个实施例中，根据数据获取消息确定待获取数据的线程查询条件的步骤包括：

从数据获取消息中确定待获取数据的查询数据类型和查询筛选条件；

根据查询数据类型和查询筛选条件得到线程查询条件。

在其中一个实施例中，按照数据聚合条件将待获取数据进行聚合处理的步骤包括：

获取预设的数据聚合线程；

通过数据聚合线程，将待获取数据按照数据聚合条件进行聚合处理。

在其中一个实施例中，数据聚合线程包括赋值函数，通过数据聚合线程，将待获取数据按照数据聚合条件进行聚合处理的步骤包括：

将待获取数据同步至预设的聚合缓存中；

在聚合缓存中，通过赋值函数将待获取数据按照数据聚合条件进行聚合处理；