[发明专利]一种异构数据源的数据存储、检索方法及装置

说明书

本发明公开了一种异构数据源的数据存储、数据检索方法及装置，涉及异构数据源处理技术领域，能够优化对异构数据源的采集、存储和检索操作，降低处理成本，提高处理效率，也便于后续维护管理。本发明的主要技术方案为：接收数据采集指令，所述数据采集指令中包含异构数据源的标识；基于所述异构数据源的标识，查找到相应的异构数据源，其中，所述异构数据源中内嵌有注解，所述注解用于配置所述异构数据源的数据采集方式；根据所述异构数据源中内嵌的注解，执行数据采集操作得到目标数据；利用预置配置文件，将所述目标数据存储到列式存储数据库中，进而以利用这样的列式存储数据库提供对异构数据源的检索操作。

技术领域

本发明涉及异构数据源处理技术领域，尤其涉及一种异构数据源的数据存储、数据检索方法及装置。

背景技术

数据的检索操作可以横跨多种数据源，数据源即数据的来源之处，不同数据源包含了各行各业的业务活动产生的大量数据(例如，日志数据)，这些来源之处不同的大量数据会在数据结构、存储格式等等方面存在差异，构成了异构数据源，它所包含的数据量是巨大的，可以是百亿级的。

目前，通常需要针对每种数据源，进行定制化的编写脚本，以实现数据解析和采集所需数据的功能，以及还需要存储采集到的数据并对外提供检索能力。然而，这对程序性能和可靠性有极高要求的，这相当于是需要进行定制化的开发，造成开发成本高，且不利于后续维护管理。

发明内容

有鉴于此，本发明提供一种异构数据源的数据存储、数据检索方法及装置，主要目的在于利用通用方式实现对异构数据源的采集、存储和检索操作，优化了对异构数据源的相关数据处理方法，降低数据处理成本，提高数据处理效率，也有利于后续维护管理。

本申请第一方面提供了一种异构数据源的数据存储方法，该方法包括：

接收数据采集指令，所述数据采集指令中包含异构数据源的标识；

基于所述异构数据源的标识，查找到相应的异构数据源，其中，所述异构数据源中内嵌有注解，所述注解用于配置所述异构数据源的数据采集方式；

根据所述异构数据源中内嵌的注解，执行数据采集操作得到目标数据；

利用预置配置文件，将所述目标数据存储到列式存储数据库中。

在本申请第一方面的一些变更实施方式中，所述根据所述异构数据源中内嵌的注解，执行数据采集操作得到目标数据，包括：

从所述注解中获取所述异构数据源的接口和数据转换格式；

根据所述接口从所述异构数据源中采集数据；

根据所述数据转换格式，对采集到的数据进行统一格式转换处理得到目标数据。

在本申请第一方面的一些变更实施方式中，所述利用预置配置文件，将所述目标数据存储到列式存储数据库中，包括：

从所述预置配置文件中获取多个预置属性字段、多个存储量阈值和多个存储地址，其中，每个所述存储量阈值关联了不同的存储地址；

从所述多个存储量阈值中获取大于所述目标数据的数据量所对应的存储量阈值，作为目标存储量阈值；

根据所述目标存储量阈值，从所述多个存储地址中确定对应关联的目标存储地址；

根据所述多个预置属性字段，在所述目标存储地址对应的存储空间上创建列式存储数据库；

将所述目标数据存储到所述列式存储数据库中。

在本申请第一方面的一些变更实施方式中，所述在根据所述多个预置属性字段，在所述目标存储地址对应的存储空间上创建列式存储数据库之后，所述方法还包括：

从多个所述预置属性字段中获取目标属性字段；