[发明专利]多源异构数据的处理方法、计算机设备及存储介质

权利要求书

1.一种多源异构数据的处理方法，其特征在于，包括：

与多个异构的数据源建立连接，获取所述数据源的数据源元数据；

根据连接的数据源中的物理库进行映射，得到逻辑库；

根据所述逻辑库确定逻辑库元数据，所述逻辑库元数据包括所述逻辑库；

通过内存缓存存储所述数据源元数据和所述逻辑库元数据；

根据所述数据源元数据和所述逻辑库元数据对SQL语句进行响应，反馈查询结果。

2.根据权利要求1所述的方法，其特征在于，所述根据连接的数据源中的物理库进行映射，得到逻辑库，包括：

如果所述数据源为关系型数据库，根据物理库的物理表进行映射，得到逻辑表，所述逻辑表与所述物理表的字段一一对应；

如果所述数据源为非关系型数据库，根据非关系型数据库的数据层级映射逻辑表以及所述逻辑表中的字段。

3.根据权利要求1所述的方法，其特征在于，在根据所述数据源元数据和所述逻辑库元数据对SQL语句进行响应，反馈查询结果之前，还包括：

通过内存缓存储用户权限信息，所述用户权限信息包括用户对逻辑库中逻辑表的字段的访问权限；

相应的，所述根据所述数据源元数据和所述逻辑库元数据对SQL语句进行响应，反馈查询结果，包括：

根据所述用户权限信息、所述数据源元数据和所述逻辑库元数据对SQL语句进行响应，反馈查询结果。

4.根据权利要求3所述的方法，其特征在于，所述根据所述数据源元数据和所述逻辑库元数据对SQL语句进行响应，反馈查询结果，包括：

响应用户接入操作，对用户进行身份认证；

接收用户输入的SQL语句；

根据所述用户权限信息对所述SQL语句进行第一权限认证；

若第一权限认证成功，根据所述数据源元数据和所述逻辑库元数据对SQL语句进行响应；

当逻辑数据库访问数据源时，数据源进行第二权限认证；

若第二权限认证成功，所述数据源将所述SQL语句的相关数据进行反馈，根据反馈的数据确定查询结果。

5.根据权利要求1所述的方法，其特征在于，所述根据所述数据源元数据和所述逻辑库元数据对SQL语句进行响应，反馈查询结果，包括：

从多个查询引擎中确定一个协调者引擎和多个执行者引擎；

所述协调者引擎用于解析所述SQL语句，生成查询计划，所述查询计划包括所述多个执行者引擎的查询任务；

将所述查询任务分别发送至执行者引擎；

执行者引擎根据数据源类型使用与数据源类型匹配的驱动访问数据源，进行数据扫描；将扫描到的数据抽取至所述执行者引擎的内存；

若数据源类型不同，则涉及跨库查询的多个执行者引擎进行数据交互，将反馈结果发送至协调者引擎聚合，得到聚合的反馈结果；

所述协调者引擎将所述聚合的反馈结果进行反馈。

6.根据权利要求1所述的方法，其特征在于，在根据所述数据源元数据和所述逻辑库元数据对SQL语句进行响应，反馈查询结果之前，还包括：

根据业务场景从映射的多个逻辑表确定多个字段；

根据所述多个字段建立逻辑视图，所述逻辑视图包含所述多个字段的逻辑关系；

所述根据所述数据源元数据和所述逻辑库元数据对SQL语句进行响应，反馈查询结果，包括：

响应于SQL语句，将数据源中的物理表中的字段数据抽取至查询引擎的内存缓存；

根据所述逻辑视图包含的逻辑关系和所述SQL语句进行查询，确定查询结果。

7.根据权利要求3所述的方法，其特征在于，在存储所述逻辑库、所述数据源元数据和所述逻辑库元数据之后，还包括：

通过管理客户端接收用户输入的元数据处理指令，所述元数据处理指令的操作类型包括添加操作、修改操作、删除操作或查询操作；

根据所述元数据处理指令的操作类型对元数据进行处理，所述元数据包括：所述数据源元数据、所述逻辑库元数据或所述用户权限信息。