[发明专利]数据源的处理方法、装置及智能分析平台

权利要求书

1.一种数据源的处理方法，其特征在于，包括：

获取多种数据源；

对多种所述数据源进行统计分析，并得到所述数据源中的数据信息；

根据各种所述数据信息并结合预定的分类逻辑，对各种所述数据源设置标准化的元数据列表；

基于该数据信息和标准化的元数据列表作为样本集训练得到标准的数据查询引擎；

将多种数据源提取到标准化的数据查询引擎，所述多种数据源通过标准化的数据查询引擎进行处理，得到汇总后的标准化的数据源。

2.根据权利要求1所述的方法，其特征在于，所述数据源包括：文件、网页、关系型数据库、时序数据库、分析型数据库、实时消息队列和数据提取接口中的一种或多种。

3.根据权利要求1所述的方法，其特征在于，所述元数据列表中包括：数据源中的各个数据字段的类型、范围、含义和分布的一种或多种。

4.根据权利要求1所述的方法，其特征在于，所述预定的分类逻辑，包括：

判断所述数据信息是否符合设定属性的阈值；

当判断所述数据信息符合设定属性的阈值时，则将所述数据信息归为该属性，并将所述属性记录在所述标准化的元数据列表中。

5.一种数据源的处理装置，其特征在于，包括：

获取模块，用于获取多类数据源；

分析模块，用于对各种所述数据源进行统计分析，并得到所述数据源中的数据信息；

处理模块，用于根据各种所述数据信息并结合预定的分类逻辑，对各种所述数据源设置标准化的元数据列表；

所述处理模块基于该数据信息和标准化的数据源列表作为样本集训练得到标准的数据查询引擎；

提取模块，用于将多类数据源提取到标准化的数据查询引擎，并通过标准化的数据查询引擎进行处理，得到汇总后的标准化的数据源。

6.根据权利要求5所述的装置，其特征在于，所述数据源包括：文件、网页、关系型数据库、时序数据库、分析型数据库、实时消息队列或数据提取接口。

7.根据权利要求5所述的装置，其特征在于，所述元数据列表包括：数据源中的各个数据字段的类型、范围、含义和分布的一种或多种。

8.根据权利要求5所述的装置，其特征在于，所述处理模块具体用于：

判断所述数据信息是否符合设定属性的阈值；

当判断所述数据信息符合设定属性的阈值时，则将所述数据信息归为该属性，并将所述属性记录在所述标准化的元数据列表中。

9.一种智能分析平台，其特征在于，包括权利要求5-8任一项所述的数据源的处理装置。

10.一种电子设备，其特征在于，包括：处理器；和存储器，在所述存储器中存储有计算机程序指令，

其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行权利要求1-4任一项所述的方法。