[发明专利]多源异构的数据关联查询方法及系统

权利要求书

1.一种多源异构的数据关联查询系统，其特征在于，包括：多个异构数据源、中间索引装置、接口装置；

所述接口装置用于：与所述多个异构数据源连接；接收数据查询请求，对数据查询请求进行拆分，将拆分后的数据查询请求发送至所述中间索引装置；

所述中间索引装置用于：为多个异构数据源中待关联信息建立索引信息并存储；对所述拆分后的数据查询请求进行解析，确定数据查询请求中待查询关联信息的逻辑连接方式，根据所述待查询关联信息的逻辑连接方式确定数据查询处理方式；

所述中间索引装置和多个异构数据源用于：根据所述数据查询处理方式完成数据查询操作；

其中，所述数据查询处理方式包括：在多个异构数据源进行数据查询筛选，筛选结果返回至所述中间索引装置进行关联合并，或，将相应的索引信息写入相应的异构数据源，对相应的索引信息进行筛选，根据筛选后的索引信息进行数据查询，将查询结果返回至多个异构数据源；

所述接口装置具体用于：对数据查询请求进行拆分，将所述数据查询请求拆成数据源信息、数据存储位置信息、过滤筛选条件信息和数据关联逻辑信息，将所述数据源信息、数据存储位置信息、过滤筛选条件信息和数据关联逻辑信息发送至所述中间索引装置；

所述中间索引装置具体用于：对所述数据源信息、数据存储位置信息、过滤筛选条件信息和数据关联逻辑信息进行逻辑分析，判断查询是否存在于多个异构数据源之间，若否，则将数据查询请求下发至对应的异构数据源进行单独查询，接收对应的异构数据源返回的查询结果，若是，则判断待查询关联信息的逻辑连接方式是否为全外连接；若是全外连接，则将数据查询请求分发至对应的异构数据源进行相应的查询，接收多个异构数据源返回的查询结果，对所述查询结果进行合并处理，若不是全外连接，则判断待查询关联信息的逻辑连接方式是否为其他连接方式，其中，所述其他连接方式包括哈希连接、排序合并连接、半连接、反连接、内连接、外连接；若为哈希连接，则从所述索引信息中找到关联的双方字段都在记录中有对应数据源存储的索引信息；若为排序合并连接，则根据所述索引信息中key值的排序信息，筛选出索引列之间的排序关联，构造出新的索引关系；若为半连接或反连接，则将相应的索引信息写入内层表所在异构数据源中，接收内层表所在异构数据源对相应的索引信息进行过滤后的索引信息，将过滤后的索引信息写入外层表所在异构数据源，接收外层表所在异构数据源根据过滤后的索引信息进行数据查询后获得的查询结果；若为内连接或外连接，则根据相应的索引信息将数据查询请求分发至关联的多个异构数据源，接收多个异构数据源查询并过滤后返回的数据，对所述数据进行关联合并。

2.如权利要求1所述的多源异构的数据关联查询系统，其特征在于，所述中间索引装置具体用于：

按照如下方式存储所述索引信息：

主键/_id/行键Rowkey的数据存储；

或，key-value型的数据存储；

或，使用哈希表缓存的方式存储。

3.如权利要求2所述的多源异构的数据关联查询系统，其特征在于，所待关联信息包括多个异构数据源中的关联的数据表以及数据表中的关联相关字段信息；

当以key-value型的数据存储时，所述索引信息中的key值为关联相关字段取值，所述索引信息中的value值为关联相关字段所在的数据源、所在数据表及在数据表中的存储位置信息。

4.如权利要求3所述的多源异构的数据关联查询系统，其特征在于，所述中间索引装置具体用于：

将所述索引信息中的key值排序后进行存储。

5.如权利要求1所述的多源异构的数据关联查询系统，其特征在于，所述多个异构数据源用于：触发所述中间索引装置进行索引信息构建。

6.如权利要求1所述的多源异构的数据关联查询系统，其特征在于，所述中间索引装置具体用于：

定时扫描多个异构数据源，根据所述多个异构数据源的数据增量来确定构建索引信息。