[发明专利]数据源的处理方法、装置及智能分析平台

说明书

本申请提供一种数据源的处理方法、装置及智能分析平台，其中，数据源的处理方法，包括：获取多种数据源；对多种所述数据源进行统计分析，并得到所述数据源中的数据信息；根据各种所述数据信息并结合预定的分类逻辑，对各种所述数据源设置标准化的元数据列表；基于该数据信息和标准化的元数据列表作为样本集训练得到标准的数据查询引擎；将多种数据源提取到标准化的数据查询引擎，所述多种数据源通过标准化的数据查询引擎进行处理，得到汇总后的标准化的数据源。根据本申请的实施例的方法，能够将各种数据源统一化、标准化，便于数据开发人员更快的了解各种数据源的状态，且能够自动分析元数据列表，提高工作效率。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种数据源的处理方法、装置及智能分析平台。

背景技术

现在各个产品的数据之间经常会有很多联系和依赖，需要很多重复的开发工作将各个数据源的统一，而且这些工具很难在其他产品中利用，因而需要对这些数据进一步处理，以便于使用人员更加方便的提取和使用。

发明内容

有鉴于此，本申请提供一种数据源的处理方法、装置及智能分析平台，能够对各种数据源进行标准化处理，便于数据的使用。

为解决上述技术问题，本申请采用以下技术方案：

第一方面，本申请实施例提供了一种数据源的处理方法，包括如下步骤：

获取多类数据源；将多类数据源提取到标准化的数据查询引擎，并通过标准化的数据查询引擎进行处理，得到汇总后的标准化的各种数据源。例如，通过适配的接口进行接入各种数据源，并提取各种数据源，以汇总各种数据源，其中各种数据源可以是多种不同类型的数据源的集合，基于各种数据源并结合标准化的数据查询引擎进行机器学习得到标准化的、统一的各种数据源。

对各种所述数据源进行统计分析，并得到所述数据源中的数据信息，其中数据信息可以是文字内容、数字内容等信息，根据各种所述数据信息并结合预定的分类逻辑，对各种所述数据源设置标准化的元数据列表，并基于该数据信息和标准化的数据源列表作为样本集训练得到标准的数据查询引擎，并在各种数据源提取到该标准的数据查询引擎时，将将各种数据源进行统一标准化处理，便于数据开发人员更快的了解各种数据源的状态。

根据本申请实施例的数据源的处理方法，能够将各种数据源统一化、标准化，便于数据开发人员更快的了解各种数据源的状态，且能够自动分析元数据列表，提高工作效率。

作为本申请第一方面的一个实施例，所述数据源可以包括：文件、网页、关系型数据库、时序数据库、分析型数据库、实时消息队列和数据提取接口中的一种或多种，通过对多种数据源进行统一化，标准化，便于对各种数据的开发或使用。

作为本申请第一方面的一个实施例，所述元数据列表中包括：数据源中的各个数据字段的类型、范围、含义和分布的一种或多种。

作为本申请第一方面的一个实施例，所述预定的分类逻辑，包括：

判断所述数据信息是否符合设定属性的阈值，例如，数据信息为18位数字，属性为身份证，身份证的阈值可设置为15位数，或18位数字，而当前的数据信息为18位数，符合设定的身份证的阈值；

当判断所述数据信息符合设定属性的阈值时，则将所述数据信息归为该属性，并将所述属性记录在所述标准化的元数据列表中。进而可以通过元数据列表的记录属性可以直接得到该数据源的数据信息为身份证，便于数据使用者快速的了解数据源的状态。

作为本申请第一方面的一个实施例，获取多类数据源，包括：

设置适配各种所述数据源的接口，以获取多类数据源，并将多类数据源提取到标准的数据查询引擎，通过数据源的接口可以调取各种数据源，以便于数据源的汇总。

第二方面，本申请公开了一种数据源的处理装置，包括：